Ridge回帰・L2正則化覚えうた

L2正則化はリッジ回帰 損失関数に重みの 二乗和の罰則項をたす 係数を全体的に 小さくおさえる 汎化性能改善 L2の目的は汎化性能改善 大きな係数を強く縮小 多くの係数はゼロにしない これが特徴 L2のハイパーパラメータ 正則化強度を調整 バイアスと分散の トレードオフを調整 相関の高い説明変数でも 係数のぶれをおさえ安定化 多重共線性を緩和 正則化前に特徴量は 標準化して適用 強すぎる正則化は バイアス過多で 性能低下につながる