ディープニューラルネットワークにおいて層が深いと、誤差逆伝播法のときに誤差がどんどん小さくなり学習が収束しない問題がある。これを勾配消失問題と呼ぶ。
ディープニューラルネットワーク(DNN)の普及に貢献した一つの要素に,勾配消失問題を克服する手法が提案されたことがある.勾配消失問題は誤差逆伝播法において,入力層に近づくにつれて誤差が急速に小さくなってしまうことによって生じるとされている.勾配消失問題に対処するための方法として,あらかじめ良い重みの初期値を計算する
事前学習や,活性化関数に正規化線形関数を利用する方法などがある.
勾配消失問題とは
![](https://i0.wp.com/ai-kenkyujo.com/wp-content/uploads/2019/07/main-3-e1564492277952.png?resize=160%2C90&ssl=1)
勾配消失問題 | AI研究所
勾配消失問題とは 勾配消失問題とは、機械学習手法のひとつであるニューラルネットワークの設計において、勾配が消失
ニューラルネットワークを訓練するのはなぜ難しいのか
ニューラルネットワークと深層学習
深層学習(勾配消失問題~CNN)
![](https://i0.wp.com/qiita-user-contents.imgix.net/https%3A%2F%2Fcdn.qiita.com%2Fassets%2Fpublic%2Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png?resize=160%2C90&ssl=1)
深層学習(勾配消失問題~CNN) - Qiita
※以下、個人的な勉強のためのレポートです。※間違い多々あると存じますが、現在の理解レベルのスナップショットのようなものです。※勉強のためWebサイトや書籍からとても参考になったものを引用させてい…