確率的勾配法とは?

AI

確率的勾配法はディープラーニングにおいて最もよく知られる最適化アルゴリズムであり,いくつかの改善を加えたものが広く使われている.例えば,以前に適用した勾配の方向を現在のパラメータ更新にも影響させるモメンタムという手法や,勾配を2乗した値を蓄積し,すでに大きく更新されたパラメータほど更新量(学習率)を小さくするAdaGradや,AdaGradにおける一度更新量が飽和した重みはもう更新されないという欠点を,指数移動平均を蓄積することにより解決したRMSpropなどがある.

確率的勾配降下法(かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD)とは、連続最適化問題に対する勾配法の乱択アルゴリズム。目的関数が、微分可能な和の形である事が必要。バッチ学習である最急降下法をオンライン学習に改良した物。

確率的勾配降下法とは何か、をPythonで動かして解説する - Qiita
勾配降下法は何に使う? 勾配降下法は統計学や機械学習で多く使われています。特に機械学習というのは基本的に何かしらの関数を最小化(最大化)する問題を数値解析的に解くことに帰結する場合が多いです。(e.g. 最小二乗法 → 誤差の二...
確率的勾配降下法のメリットについて考えてみた - Qiita
機械学習初心者です。機械学習やディープラーニングでは、「確率的勾配降下法」というアルゴリズムがよく出てきますが、そのメリットがいまいちピンとこなかったので考えてみました。素人のポエムなのでトンチンカンなこと書いていると思います(そこそ...
タイトルとURLをコピーしました