【G検定】学習率

学習率の値は学習の進み方に大きな影響を与える。例えば、学習率が過度に小さいとコスト関数の高い局所的最適解から抜け出せなくなることがある。また、学習率が過度に大きいと、ネットワークの重みが発散することがある。学習率を学習が進むに連れて変化させる方法もあり、一般に学習が進むに連れて学習率を小さくすると最終的により最適解に近いパラメータになる。