確率的勾配法とは？

確率的勾配法はディープラーニングにおいて最もよく知られる最適化アルゴリズムであり,いくつかの改善を加えたものが広く使われている.例えば,以前に適用した勾配の方向を現在のパラメータ更新にも影響させるモメンタムという手法や,勾配を2乗した値を蓄積し,すでに大きく更新されたパラメータほど更新量（学習率）を小さくするAdaGradや,AdaGradにおける一度更新量が飽和した重みはもう更新されないという欠点を,指数移動平均を蓄積することにより解決したRMSpropなどがある.

確率的勾配降下法（かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD）とは、連続最適化問題に対する勾配法の乱択アルゴリズム。目的関数が、微分可能な和の形である事が必要。バッチ学習である最急降下法をオンライン学習に改良した物。