マルチモーダルは 複数種類のデータ モダリティは情報の種類 マルチモーダルAI構造は エンコーダとデコーダ Image Captioningは見て説明 Text-To-Imageは読んで描く Visual Question Answeringは 見て答える Image Captioningは 画像から説明文 入力は画像 出力はテキスト CNNなどで画像特徴抽出 RNNやTransformerで文章生成 Text-To-Imageは テキストから画像 Text-To-Imageは キャプショニングの 逆方向のタスク GANや拡散モデルで 条件付き画像生成 Visual Question Answeringは 画像と質問文 出力は回答文 特徴を融合して回答を予測 視覚と自然言語の両方の理解 Image Captioningは 画像からテキスト Text-To-Imageは テキストから画像 Visual Question Answeringは 画像と質問文から回答文
