Sequence-to-Sequenceは Encoder-Decoderモデル 入力と出力の 長さが異なってもよい 固定長のベクトルへの 圧縮が弱点 解決策は長文への Attention導入 ある時系列データを 別の時系列データに変換 入力を全部読んでから 新しい系列を作る 翻訳 要約 対話生成に利用 内部にRNNやLSTM GRUを 使用する Encoderは符号化器 入力を読み込み その特徴を抽出 固定長のベクトルに圧縮 Decoderは復号化器 Encoderが作った固定長の ベクトルを受け取り 翻訳文など出力系列を生成 どんなに長い入力文でも ひとつの固定長のベクトルに 無理やり詰め込む 入力が長くなると 情報が薄れてしまう 長文の翻訳精度が低下する Attentionは入力の 重要な部分をその都度参照 中身をAttention のみにした進化版 それがTransformer
