汎化誤差を下げるためには正則化が用いられることが多い。
正則化とは損失関数の値とともにモデルのパラメータの二乗和を最小になるように学習することで、パラメータが小さくなり過学習の対策となる。
機械学習では大量のデータを扱いますが、偏り過ぎたデータにまで必要以上に対応してしまうという「過学習」の状態に陥る事があります。過学習の状態は、与えた学習データに対しては小さな誤差となるモデルが構築できています。ただし、ごく一部の例外的な学習データに過度に対応したモデルとなっているために、構築した学習モデルを未知データに適用すると必ずしも適切な予測値を返さない状態となります。学習データの中のごく一部の例外的なデータに過度に適用したモデルが構築されている状態ということで「過学習」といいます。
そのため、機械学習では過学習になるのを防ぐために、極端な重みのデータに対してペナルティを与える正則化が用いられます。
https://www.techcrowd.jp/machinelearning/regularization/