ディープラーニングの学習の目的

G検定

ディープラーニングの学習の目的

ディープラーニングの学習の目的は,損失関数の値をできるだけ小さくするパラメータを見つけることである.このような問題を解くことを最適化という.このパラメータを見つけるアルゴリズムとして有名なのはSGDである.ただ,SGDは対象の関数の形がある分布や方向に依存すると非効率な経路でパラメータを探索してしまい,学習に時間がかかってしまうというデメリットがある.そこで,現在ではSGDの欠点を改善するためにAdam などのアルゴリズムが使用されている.

SGD

確率的勾配降下法(かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD)とは、連続最適化問題に対する勾配法の乱択アルゴリズム。目的関数が、微分可能な和の形である事が必要。バッチ学習である最急降下法をオンライン学習に改良した物。

確率的勾配降下法 - Wikipedia
SGD(クラス分類)【Pythonとscikit-learnで機械学習:第1回】
本シリーズでは、Pythonを使用して機械学習を実装する方法を解説します。また各アルゴリズムの数式だけでなく、その心、意図を解説していきたいと考えています。第1回では・PCにPythonの機械学習環境をそろえる方法・クラス分類の...

Adam

Adamは、AdaGradやRMSProp、SGDなどと同様にニューラルネットワークの学習において、よく使われる最適化手法の一つです。

https://www.renom.jp/ja/notebooks/tutorial/basic_algorithm/adam/notebook.html

 

AI研究トレンドのお勉強 - Qiita
はじめに arxivにある論文からAI研究トレンドをまとめたという、以下のサイトを眺めていて、初めて見る単語がいくつかあったのでお勉強してみました。 A Peek at Trends in Machine Learning ...

 

 

 

 

タイトルとURLをコピーしました