Self-Attention・Source-Target Attention覚えうた

TransformerはRNN使わず Attentionのみで構成 Self-Attentionと Source-Target Attention が使われる Self-Attentionは 自己注意機構 入力データ内の 単語同士の関係性学習 文脈理解 離れた位置の 長距離依存も捉える Query Key Valueの3つ全てが 同じ入力データから作られる Source-Target Attention はEncoder-Decoder Attention 入力情報と出力情報の紐付け 入力はEncoder出力はDecoder Queryは出力側由来 KeyとValueは入力側由来 Self-Attentionは 全て同じ入力由来 Source-Targetは 由来が分かれる Queryは出力 Decoder KeyとValueは入力 Encoder