レイヤー正規化は サンプル内の 全チャネル トランスフォーマーに 使われる レイヤー正規化は シーケンスモデルにも 全チャネルまるごと 平均・分散で正規化する バッチの中で 平均・分散を計算 バッチ正規化は 大バッチが得意 少ないバッチで 不安定になりやすい グループ正規化が効果的 インスタンス正規化 画像のチャネルごと バッチを見ずに独立に正規化 一枚の画像 各チャネルで処理 画像生成にも向いている グループ正規化 チャネルを分ける グループごとに正規化をする バッチに依存せず 少ないバッチで強い グループ正規化は バッチ正規化が 効かないときの代替 バッチ正規化は ミニバッチ統計 レイヤーは サンプル内の全チャネル インスタンスは 各画像の各チャネル グループはチャネルを分けて グループごとに正規化
