過学習
機械学習においては過学習を避けるために,訓練誤差ではなく汎化誤差を可能なかぎり小さくする手法である正則化を用いることが多い.また複数のモデルの予測結果の平均を利用するアンサンブル学習がある.他にもディープニューラルネットワーク（DNN）に対しては,ランダムに一定の割合のノードを削除して学習を行うドロップアウトが有効とされている.正則化手法にはいくつかのパラメータをスパースにするLassoなどがある.
ドロップアウト
Dropoutは、階層の深いニューラルネットを精度よく最適化するためにHintonらによって提案された手法です。
Dropoutでは、ニューラルネットワークを学習する際に、ある更新で層の中のノードのうちのいくつかを無効にして（そもそも存在しないかのように扱って）学習を行い、次の更新では別のノードを無効にして学習を行うことを繰り返します。これにより学習時にネットワークの自由度を強制的に小さくして汎化性能を上げ、過学習を避けることができます。隠れ層においては、一般的に50%程度を無効すると良いと言われています。当初Dropoutは全結合のみに適用されていましたが、先ほど挙げた論文によれば、畳み込み層等に適用しても同様に性能を向上させることが確かめられています。
【Deep Learning】過学習とDropoutについて - sonickun.log
前回、Deep Learningを用いてCIFAR-10の画像を識別しました。今回は機械学習において重要な問題である過学習と、その対策について取り上げます。 sonickun.hatenablog.com 過学習について 過学習（Overf...
sonickun.hatenablog.com
Lasso正則化
正則化項（LASSO）を理解する - Qiita
LASSOについて はじめに、線形回帰モデルの予測値を \hat {y} = Xa ＊ 観測データの集合行列 （詳細は前回記事参照） パラメータ で表した場合、観測値と予測値の二乗誤差関数は下記式で定義される。 R(a...
qiita.com
正則化 | L1 正則化（LASSO）と L2 正則化（Ridge）について
stats.biopapyrus.jp
Ridge正則化
http://www.housecat442.com/?p=646
www.housecat442.com
リッジ回帰／Lasso回帰／Elastic Net
aizine.ai
Elastic Net
Access Denied
jp.mathworks.com
Rでスパースモデリング：Elastic Net回帰についてまとめてみる - データサイエンティスト(仮)
導入 回帰モデル構築の際、汎化性能を向上させるために正則化の手法がたびたび用いられます。これは、考えているデータ数に対して特徴量の数が非常に多い場合や、特徴量間に強い相関（多重共線性）がある場合に有効な方法となっています。このような場合に、...
tekenuko.hatenablog.com
Elastic Netの勉強 - データの境界
"ここ5年ほどで最も刺激的なアルゴリズムの一つ"と（「みんなのR」で）評されているElastic Netについて調べてみました。 Elastic Netとは 一般化線形モデルの回帰に正則化項を加味するモデル。 メリットとして次元削除と過学習...
kskbyt.hatenablog.jp
