ソフトマックス関数は、複数値からなる入力値ベクトルxx がどのような値を取ろうとも、出力値ベクトルの各要素を00 から11 の間に押し込め、全要素の合計が11となるように正規化する性質を持ちます。当該関数はニューラルネットワークにおいて入力値ベクトルの各要素を確率値に相当する出力値ベクトルに変換する活性化関数(activation function)としてよく用いられます。
ソフトマックス関数の特徴としては、大きく2つにわけられます。
– 出力の各要素の値域が 0≤yi≤1 となる
– 出力の総和が1となる
この2つのうち、2番目がニューラルネットワークで使う上で重要となります。 なぜならば、出力値の各要素の総和が1になるので、出力層の各ユニットの値を確率として解釈することができます。
これにより、問題に対して確率的アプローチを取れるようになります。