正規化線形関数はReLU関数とも呼ばれ、微分値が0以上の場合はそのままの値、0以下の場合は0となる。
この性質により誤差逆伝播の際に、重みが小さくなるのを防ぐことができる。
入力値のReLU(Rectified Linear Unit)による処理結果を出力します。
o=max(0, i) (oは出力、iは入力を示す)
https://www.renom.jp/ja/notebooks/tutorial/basic_algorithm/activation_types/notebook.html
入力が正の時に入力と同じ値を、入力が負の時に0を出力する関数です。微分値に一定の値を持ちます。入力が負の時に勾配は0です。
勾配消失問題を解消することが知られています。