RLHFは人間のフィードバック からの強化学習 RLHFはLLMの出力を人間の 好みに合わせる微調整手法 アライメントはAIの 挙動を人間の意図や 倫理観に一致させる RLHFの主な目的は 人間の意図に沿わせ 有害出力を抑制 RLHFはゼロからの学習 ではなく事前学習済みモデル に対する事後調整 SFTは指示データを用いた 教師あり学習による微調整 報酬モデルは 人間の比較評価データから スコアを学習 報酬モデルは出力の良さを スカラー値のスコアで 評価するモデル PPOは報酬を最大化する 近接方策最適化アルゴリズム 強化学習ステップは 報酬モデルのスコアを 最大化するようLLMを更新 報酬成形は学習を効率化 するため報酬関数を 人工的に設計や調整 スパースな報酬は 目標達成時などごくまれ にしか得られない報酬 報酬成形はスパースな報酬 に対して中間報酬を与え 学習を導く手法 報酬ハッキングはエージェント が人間の意図とは違う 抜け道で報酬を稼ぐこと 報酬成形は報酬ハッキングを 防ぐために緻密な設計が必要 RLHFは人間の好みに 合わせた出力の最適化 報酬成形は中間報酬の 付与による学習の効率化 スパースな報酬に 中間報酬で対策
