ResNet・スキップ結合覚えうた

ResNetは 2015年ILSVRC優勝 圧倒的に層が深い 最大152層 残差学習で 深いネットワークを可能にした 残差接続はスキップ結合 スキップ結合の仕組みは ResNetの核技術 層の入力を数層飛ばして 出力に直接加算する 入力を変換後の 出力に足し合わせる スキップ結合は 学習する対象を 出力そのものではなく 入力との差分にする 層を深くしすぎると起きる 勾配消失問題を緩和する スキップ結合により 誤差逆伝播時に 勾配が通りやすくなる 層を深くしても 学習が進みやすくなる Inceptionモジュールは 横に広げる 複数のフィルタサイズを 並列適用 ResNetは縦に深くする スキップ結合は 入力を出力に直接加算し 入力との差分を学習する 勾配消失を緩和し 深い層の学習を支える