G検定の要所を簡単にまとめました
バッチ正規化 … 一部の層の出力を正規化する.
ドロップアウト … 学習の際に一部のノードを無効化する.
データ拡張 … データの水増しをしてデータの不足を補う.
L2正則化 … パラメータのノルムにペナルティを課す.
GANは生成ネットワーク,識別ネットワークの二つを競い合わせることで生成モデルを獲得する.
画像生成分野でよく使用される.
汎化誤差を下げるためには正則化が用いられることが多い。
正則化とは損失関数の値とともにモデルのパラメータの二乗和を最小になるように学習することで、パラメータが小さくなり過学習の対策となる。
複数のモデルを使用し、全体の汎化性能をあげる手法をアンサンブル学習と呼ぶ。
ディープラーニングではドロップアウトを使って汎化性能を向上させている。
汎化とは、様々な異なる対象に共通する性質や、共通して適用できる法則などを見出すこと。一般化、普遍化ともいう。対義語は特化（specialization）あるいは特殊化。
正則化にはL1正則化であるLasso正則化と、L2正則化であるRidge正則化の二種類が存在する。L1正則化を使用するとスパースになる。
ディープニューラルネットワークにおいて層が深いと、誤差逆伝播法のときに誤差がどんどん小さくなり学習が収束しない問題がある。これを勾配消失問題と呼ぶ。
勾配消失問題はモデルのパラメータの初期値に対して依存する。モデルを事前学習させることで安定した学習が可能となり、勾配消失問題を克服できると考えられる。
正規化線形関数はReLU関数とも呼ばれ、微分値が0以上の場合はそのままの値、0以下の場合は0となる。
この性質により誤差逆伝播の際に、重みが小さくなるのを防ぐことができる。
大規模なニューラルネットワークを学習すると、ある層の入力がそれより仮想の学習が進むにつれて変化してしまうことがある。これにより学習が止まってしまうことが考えられる。このことを内部共変量シフトと呼ぶ。
内部共変量シフトの対策はバッチ正規化が使用される。各層で出力を正規化することで、層が深くなっても入力の分布の変化が少なくなると考えられる。
プーリングは周りの平均値で圧縮する平均プーリング、周りの最大値で圧縮する最大プーリング、周りの値をp乗しその標準偏差をとるLpプーリングなどが存在する。
ハイパーパラメータは学習をする前に人手で設定しなければいけないパラメータのことを指す。
