ファインチューニングは 特定タスクへ適応 ファインチューニングの 課題は破壊的忘却 破壊的忘却は カタストロフィック フォーゲッティング 新タスク学習による 過去の知識の喪失 転移学習は 既存の重みを固定して 出力層付近のみを学習 ファインチューニングは 既存の重みも微小に 更新して学習 ネットワーク全体の更新のため 破壊的忘却が起きやすい 破壊的忘却は 新タスク学習による 過去の性能低下 発生原因は パラメータの過度な更新 対策は過去の学習データの 一部を混ぜるリハーサル 重要パラメータの更新を 制限する正則化 EWC 過学習は 訓練データへの過剰な適合 未知データに対する 汎化性能の低下 未知データへの適応不足 破壊的忘却とは異なる ファインチューニングの 課題は破壊的忘却 新タスク学習による 過去の知識の喪失 対策は過去データの再利用や 重み更新のペナルティ付与
