Transformerは Attentionのみ RNN不要で並列計算 BERTはEncoder 双方向 GPTはDecoder 単方向 Seq2SeqはEncoderで 固定長の文脈ベクトルに圧縮 固定長が情報のボトルネック 長い文で精度が落ちる Attentionは重みを動的計算 固定長ベクトルの制約を解消 ELMoはBi-LSTM 文脈依存で ベクトルが変化する Transformerは Attention Is All You Need RNN使わずAttentionのみ 並列計算は 前の時刻を待たない 学習が高速 Transformerの利点 Positional Encodingは 単語の位置情報を 認識するため加算 BERTは TransformerのEncoder 文脈全体 双方向から同時に学習 MLMは穴埋め予測 NSPは連続判定 Fine-tuningで パラメータ全体を微調整 GPTは TransformerのDecoder 自己回帰的な単方向 文章生成が得意 BERTはEncoder 双方向 GPTはDecoder 単方向 Transformerは並列計算 BERTはEncoder 双方向 GPTはDecoder 単方向 Transformerは並列計算
