正規化線形関数はReLU関数とも呼ばれ、微分値が0以上の場合はそのままの値、0以下の場合は0となる。
この性質により誤差逆伝播の際に、重みが小さくなるのを防ぐことができる。
入力値のReLU（Rectified Linear Unit）による処理結果を出力します。
o=max(0, i) （oは出力、iは入力を示す）
https://www.renom.jp/ja/notebooks/tutorial/basic_algorithm/activation_types/notebook.html
www.renom.jp
入力が正の時に入力と同じ値を、入力が負の時に０を出力する関数です。微分値に一定の値を持ちます。入力が負の時に勾配は０です。
勾配消失問題を解消することが知られています。
