ニューラルネットワーク

ニューラルネットワークは高い表現力を持つ反面、過学習をしやすいという性質を持つため、それを改善させる方法が多数考案されている。

例えば、学習の際に一部のノードを無効化するドロップアウト、一部の層の出力を正規化するバッチ正規化、データの水増しをしてデータの不足を補うデータ拡張、パラメータのノルムにペナルティを課すL2正則化などがそれに当たる。