出版社内容情報
理論は裏切らない
・強化学習で必要になる数理を広くカバーした。
・一貫したていねいな解説なので、じっくり読める。付録・参考文献も充実！
・ベルマン方程式、TD学習、方策勾配、POMDP、深層強化学習をより深く！
【おもな内容】
第1章 準備
1.1 強化学習とは
1.2 マルコフ決定過程と逐次的意思決定問題
1.3 方策
1.4 逐次的意思決定問題の定式化
第2章 プランニング
2.1 準備
2.2 動的計画法
2.3 動的計画法による解法
2.4 線形計画法による解法
第3章 探索と活用のトレードオフ
3.1 概要
3.2 探索と活用のトレードオフ
3.3 方策モデル
第4章 モデルフリー型の強化学習
4.1 データにもとづく意思決定
4.2 価値関数の推定
4.3 方策と行動価値関数の学習
4.4 収束性
4.5 アクター・クリティック法
第5章 モデルベース型の強化学習
5.1 問題設定の整理
5.2 環境推定
5.3 ブラックボックス生成モデルに対するプランニング
5.4 オンラインのモデルベース型強化学習
第6章 関数近似を用いた強化学習
6.1 概要
6.2 価値関数の関数近似
6.3 方策の関数近似
第7章 部分観測マルコフ決定過程
7.1 部分観測マルコフ決定過程（POMDP）の基礎
7.2 POMDP のプランニング
7.3 POMDP の学習
第8章 最近の話題
8.1 分布強化学習
8.2 深層強化学習
付録A 補足
A.1 証明
A.2 ノルム
A.3 線形計画法
A.4 自然勾配の導出
感想・レビュー
※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。
zukky65
2
強化学習の論文は何本か読んでいたが、ところどころ強化学習の分野では常識的に使われている部分が理解できないことが多いため、体系的に勉強を目的として読んだ。 内容としては期待通りで、強化学習で使われる式やその証明について書かれている。ただ、深層学習ベースの話は最後のほうに少しあるだけで、それほど詳しくないので、深層学習ベースの話を勉強したい人は別の本を読んだほうが良いかと。個人的にはベルマン作用素とそれを利用した部分は論文読んでて謎だらけだったので、そこが分かってすっきりした。2020/08/10
ᚹγअәc0̸א
1
なかなかヘビーな一冊であるが、末尾補足の数学説明が重質しており有難い。この部分は深層学習の服読書としても有益。
