ReLU関数

光に照らされるキーボード(Macbook) G検定
光に照らされるキーボード(Macbook)

正規化線形関数はReLU関数とも呼ばれ、微分値が0以上の場合はそのままの値、0以下の場合は0となる。
この性質により誤差逆伝播の際に、重みが小さくなるのを防ぐことができる。

入力値のReLU(Rectified Linear Unit)による処理結果を出力します。

o=max(0, i) (oは出力、iは入力を示す)

403 Forbidden

入力が正の時に入力と同じ値を、入力が負の時に0を出力する関数です。微分値に一定の値を持ちます。入力が負の時に勾配は0です。
勾配消失問題を解消することが知られています。

タイトルとURLをコピーしました