正規化層 分布を調整 学習を安定・加速する 平均0 分散1 過学習抑制は主目的ではない 正規化層は 特徴量の分布を調整 平均0 分散1に近づける 目的は勾配の安定化と 学習速度向上 間接的に過学習抑制 バッチ正規化はバッチごとの 平均と分散で正規化 バッチ正規化は ミニバッチ単位で正規化する 正規化後に 学習可能な線形変換 バッチ正規化は スケールとシフトの 学習パラメータを持つ 推論時は 移動平均・分散を用いる 学習時はミニバッチの 平均・分散を使う 畳み込み層では チャネルごとに適用する バッチ正規化は バッチサイズが小さいと 不安定で性能低下 正規化層 分布を調整 学習を安定・加速する 過学習を抑えるけど 主目的ではない バッチ正規化は ミニバッチごとに適用する
