Song Cover Image

双方向RNN・教師強制覚えうた

BPTTは時間軸に 沿った誤差逆伝播法 双方向RNNは 過去だけでなく 未来の情報も使う 教師強制は次の入力に 正解データを与える BPTTは層が深くなると 勾配が消失または 爆発しやすくなる 双方向RNN 順方向へ 処理する隠れ層と 逆方向へ処理する隠れ層の 2つを組み合わせ 双方向RNNは文脈を より正確に捉える目的 自然言語処理などで 単語の意味を前後の単語から 推測に有効 教師強制は系列データを生成 予測する際の学習テクニック 通常推論時は 前の時刻のモデルの出力を 次の入力に使う 教師強制の学習時は 前の時刻の正解ラベルを 次の入力に使う 教師強制の目的は 学習の安定化と収束を高速化 学習の初期段階で 予測が外れても 次のステップに 悪影響を及ぼさない