出版社内容情報
【推薦の言葉】
基盤モデルの性能を引き上げるうえで、強化学習は中核的な役割を担っている。
本書は、強化学習の基礎から、基盤モデルの事後学習を支える理論と手法、推論時スケーリング、Agentic RLまでを体系的に解説した、世界的にも類書の少ない一冊である。
なぜ強化学習が必要なのか、その可能性と限界を、理論と実例の両面から明快に示す。
AIの今後を見通すうえで、本書は重要な羅針盤となるだろう。
――岡野原大輔（Preferred Networks代表取締役社長）
【本書のポイント】
◆基盤モデルを賢くする強化学習、その理論を体系的に理解する！◆
いま強化学習は、基盤モデルの振る舞いを制御するための汎用的な枠組みとなっている。各手法がなぜ必要になったのか、どのような仮定のもとで何を最適化しているのか。本書では、これらを数式と直感の両方から解説する。
【サポートサイト】
https://akifumi-wachi-4.github.io/website/rl4fm
【主な内容】
第1章 はじめに
第2章 強化学習の基礎
第3章 基盤モデルを改良するための強化学習問題
第4章 強化学習による人間の主観的な選好への適合
第5章 強化学習による客観的な正解をともなうリーズニング能力の改善
第6章 主観的かつ客観的に良いLLMを獲得するには
第7章 言語から他のモダリティへ
第8章 推論時スケーリングと強化学習の関連性
第9章 Agentic RL
第10章 今後の課題
付録A 数学的な基礎
付録B 強化学習の補足
付録C 基盤モデルの基礎
付録D 定理3.2の証明
【目次】
第1章 はじめに
なぜいま「基盤モデルのための強化学習」を学ぶのか／本書の立場／本書の構成
第2章 強化学習の基礎
強化学習とは枠組みである／強化学習問題の定式化／強化学習アルゴリズムの基礎
第3章 基盤モデルを改良するための強化学習問題
「基盤モデルを改良するために強化学習を使う」とはどういうことか？／基盤モデルを改良するために強化学習はどのフェーズで用いられるか？／なぜ強化学習が必要なのか？／基盤モデルのための強化学習問題の定式化／最適解が実は分かっている／最適解の解釈／他のダイバージェンスを用いた定式化とその最適解／多目的・制約付き最適化におけるreverse KLダイバージェンスの利点／状態遷移をともなうMDPを用いた定式化と最適解／最適解を獲得する難しさ／報酬は具体的に何を表すか？
第4章 強化学習による人間の主観的な選好への適合
人間の主観を報酬で表現することの難しさ／選好データ／Bradley-Terryモデル／RLHF／DPO／RLAIF／モデル開発におけるアライメント手法の潮流／単一報酬による最適化の限界
第5章 強化学習による客観的な正解をともなうリーズニング能力の改善
RLVR／検証可能な報酬の具体例／RLVRのための強化学習アルゴリズム／RLVRの役割とは？
第6章 主観的かつ客観的に良いLLMを獲得するには
主観と客観の両立の必要性／事後学習の「レシピ」／Llama 3／Phi-4／DeepSeek-R1-Zero／DeepSeek-R1／Tulu 3
第7章 言語から他のモダリティへ
画像／VLM／音声／VLAモデル
第8章 推論時スケーリングと強化学習の関連性
学習からテスト時推論へ／推論時スケーリング／推論時スケーリング手法／BoNの理論／BoNと強化学習における報酬の過剰最適化の実験的検証
第9章 Agentic RL
Agentic RLとは／Agentic RLの定式化／Agentic RLによるコア能力の向上／Agentic RLの主な応用領域／Agentic RLの事例紹介
第10章 今後の課題
報酬ハッキング／計算効率の低さ／難易度の高いタスクにおける適用限界／安全性
付録A 数学的な基礎
付録B 強化学習の補足
付録C 基盤モデルの基礎
付録D 定理3.2の証明
