ディープラーニングの学習の目的

G検定

ディープラーニングの学習の目的

ディープラーニングの学習の目的は,損失関数の値をできるだけ小さくするパラメータを見つけることである.このような問題を解くことを最適化という.このパラメータを見つけるアルゴリズムとして有名なのはSGDである.ただ,SGDは対象の関数の形がある分布や方向に依存すると非効率な経路でパラメータを探索してしまい,学習に時間がかかってしまうというデメリットがある.そこで,現在ではSGDの欠点を改善するためにAdam などのアルゴリズムが使用されている.

SGD

確率的勾配降下法(かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD)とは、連続最適化問題に対する勾配法の乱択アルゴリズム。目的関数が、微分可能な和の形である事が必要。バッチ学習である最急降下法をオンライン学習に改良した物。

確率的勾配降下法 - Wikipedia
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。

Adam

Adamは、AdaGradやRMSProp、SGDなどと同様にニューラルネットワークの学習において、よく使われる最適化手法の一つです。

403 Forbidden

 

AI研究トレンドのお勉強 - Qiita
はじめにarxivにある論文からAI研究トレンドをまとめたという、以下のサイトを眺めていて、初めて見る単語がいくつかあったのでお勉強してみました。A Peek at Trends in Mach…

 

 

 

 

タイトルとURLをコピーしました