ディープラーニングの学習の目的
ディープラーニングの学習の目的は,損失関数の値をできるだけ小さくするパラメータを見つけることである.このような問題を解くことを最適化という.このパラメータを見つけるアルゴリズムとして有名なのはSGDである.ただ,SGDは対象の関数の形がある分布や方向に依存すると非効率な経路でパラメータを探索してしまい,学習に時間がかかってしまうというデメリットがある.そこで,現在ではSGDの欠点を改善するためにAdam などのアルゴリズムが使用されている.
SGD
確率的勾配降下法（かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD）とは、連続最適化問題に対する勾配法の乱択アルゴリズム。目的関数が、微分可能な和の形である事が必要。バッチ学習である最急降下法をオンライン学習に改良した物。
確率的勾配降下法 - Wikipedia
ja.wikipedia.org
http://neuro-educator.com/mlearn1/
neuro-educator.com
Adam
Adamは、AdaGradやRMSProp、SGDなどと同様にニューラルネットワークの学習において、よく使われる最適化手法の一つです。
https://www.renom.jp/ja/notebooks/tutorial/basic_algorithm/adam/notebook.html
www.renom.jp
AI研究トレンドのお勉強 - Qiita
はじめにarxivにある論文からAI研究トレンドをまとめたという、以下のサイトを眺めていて、初めて見る単語がいくつかあったのでお勉強してみました。A Peek at Trends in Mach…
qiita.com
勾配降下法の 最適化アルゴリズム from nishio
