誤差逆伝播法は バックプロパゲーション 誤差を出力から入力へ 逆伝播して重み更新 勾配消失は活性化関数の 微分が小さいと起こる 誤差逆伝播法は勾配を 効率的に計算する方法 合成関数の連鎖則で重みの 微分を層ごとに計算する 誤差を逆伝播して 勾配を求め重みを更新 誤差を遡り伝え 連鎖則で微分をつなぐ 勾配消失問題 層を遡るほどに 微分が極端に 小さくなり初期層の更新が ほぼ起こらない 勾配爆発は逆伝播で 勾配が過大になり 学習が不安定になり 発散してしまう 勾配消失は小さい微分や 不適切な初期化で起こる 層が深くなるほどに 勾配は連続して縮む 爆発は不適切な初期値や RNNなど長い時間依存で 起こりやすい 勾配クリッピングで ノルムを制限できる 誤差逆伝播法は重みの 微分を連鎖的に計算 消失と爆発は連鎖則に 起因し対処法が異なる ReLUや残差結合は 消失の緩和に有効 勾配爆発は初期値や 学習率調整で対処
0/500