ニューラルネットワークでは予測値と実際の値との誤差を出力層から入力層へ向かって伝播させて重みの値を調整していました。(このことを逆誤差伝播法と呼びます)アイデアのように隠れ層を増やした場合、誤差が正確に伝播されなくなっていたのです。
このことを勾配消失問題と言います。
勾配消失問題とは？
marupeke296.com
勾配消失問題とは、機械学習手法のひとつであるニューラルネットワークの設計において、勾配が消失することで学習が進まなくなる技術的な問題のことです。
ニューラルネットワークによる学習を行う際、最もシンプルなモデルである単純パーセプトロンでは線形分離可能な問題しか学習できませんでした。
したがって、非線形分離が必要となる問題では、パーセプトロンを多層化する必要があります。
多層化する場合に新たに問題になるのは、予測値と実際の値の差分である誤差を最小化する、いわゆる最適化問題が複雑化することです。
