活性化関数
活性化関数とは,ニューロンの出力に何らかの非線形な変数を加える関数である.単純パーセプトロンの出力層ではステップ関数が用いられ,ニューラルネットワークの中間層では,はじめシグモイド関数などの正規化の機能を持つ関数が好まれた.しかし現在では,誤差逆伝播で勾配が消失しやすいという問題から,中間層では勾配消失問題の影響を抑えられ,かつ簡単なReLUなどが用いられている.また,出力層では出力の総和が 1 になるため確率的な解釈が可能になるソフトマックス関数がよく用いられる.
ステップ関数
階段関数（かいだんかんすう、英: step functionまたは英: staircase function）とは、おおまかに言って、グラフが階段状になる実関数のことである。より正確には、区間上の指示関数が有限個あって、それらの線型結合で表される関数である。有限個のみの区分を持った、区分的に定数関数である関数とも表現できる。
はりの曲げモーメントせん断力解説
da.ms.t.kanazawa-u.ac.jp
シグモイド関数
シグモイド関数 - Wikipedia
ja.wikipedia.org
シグモイド関数の意味と簡単な性質 | 高校数学の美しい物語
シグモイド関数の性質と簡単なグラフの書き方，工学的応用（ステップ関数，符号関数の近似）について解説します。
manabitimes.jp
ReLU
活性化関数ReLUについてとReLU一族【追記あり】 - Qiita
(追記)活性化関数が学習に及ぼす影響下記記事にて実験&解説を実施。興味があれば是非。【ReLU, PReLU, シグモイド etc...】ニューラルネットでよく使う活性化関数の効果をKerasで…
qiita.com
404 エラー : @niftyホームページサービス
ishidate.my.coocan.jp
ソフトマックス関数
SoftMax（ソフトマックス）関数とは？文系の人にもわかりやすく - Qiita
この記事ではソフトマックス関数について、レベルを分けてできる限り分かりやすく説明していきます。Wikipediaによると（…
qiita.com
ソフトマックス関数 | 高校数学の美しい物語
ソフトマックス関数の定義，性質，および微分係数の導出について解説します。
manabitimes.jp
