ReLU関数

正規化線形関数はReLU関数とも呼ばれ、微分値が0以上の場合はそのままの値、0以下の場合は0となる。この性質により誤差逆伝播の際に、重みが小さくなるのを防ぐことができる。入力値のReLU（Rectified Linear Unit）による処...