強化学習アルゴリズム入門―「平均」からはじめる基礎と応用

曽我部 東馬【著】

オーム社（2019/05発売）

• サイズ A5判／ページ数 202p／高さ 21cm
• 商品コード 9784274223716
• NDC分類 007.1
• Cコード C3055

出版社内容情報

「平均」の観点から強化学習の原理がわかる！
AlphaGoがプロ棋士を破った2016年以降、さまざまな分野から注目されている深層強化学習ですが、専門書は非常に難解でわかりづらい傾向にあります。
そこで本書は、初歩的な数学を使って原理をわかりやすく解説します。価値・探索・マルコフ決定過程・動的計画法・モンテカルロ法・TD法といった強化学習の諸要素を、中高生にもなじみ深い平均値の計算から説明し、初学者でも基本とコツを自然と身につけられます。抽象的な強化学習の概念と煩雑な数学式を直感的に感じつつ、本質まで把握できることが本書の最大の特徴です。
また、すべての例題にPythonとMATLABのコードを示し、原理・数式・コードという一連の流れを紐付けて理解できるようになっています。初学者でも入りやすく、難しさを感じないまま、強化学習の基本と深層学習のコツを自然と身につけられる入門書です。

【本書の特徴】
・難解な強化学習の原理を、中高生にもなじみ深い「平均値の計算」という観点からわかりやすく解説しています。
・すべての例題にPythonとMATLABのコードを例示しています。

内容説明

強化学習の難解な理論を平均を入口としてやさしく解説。原理→数式→プログラムの流れで全体像を直感的に把握できます。

目次

第１章　平均で学ぶ強化学習の基本概念（平均と期待値；平均と価値　ほか）
第２章　各アルゴリズムの特徴と応用（強化学習における方策π（ａ｜Ｓ）
動的計画法　ほか）
第３章　関数近似手法（関数近似の基本概念；関数近似モデルを用いたＶ（Ｓｔ）の表現　ほか）
第４章　深層強化学習の原理と手法（ＴＤ‐Ｑ学習法におけるＮＮによる行動価値関数の回帰；ＤＱＮによる行動状態価値関数の近似　ほか）

著者等紹介

曽我部東馬［ソガベトウマ］
理学博士（物理学専攻）。マックス・プランク研究所（独）博士研究員、ケンブリッジ大学（英）研究員を経て、２００９年帰国、株式会社グリッドの設立に携わり、取締役最高技術責任者を務める。２０１１年より東京大学先端科学技術研究センター特任助教、特任准教授を歴任、２０１６年３月電気通信大学准教授、株式会社グリッド最高技術顧問（兼務）、東京大学先端科学技術研究センター客員研究員（兼務）（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[kaida6213]

他の強化学習本が難しすぎたので入門編として購入。平易な言葉で分かりやすく説明してくれる。特に方策型/価値型の違いや、SARSA/Q学習の違い、関数近似の必要性など非常にわかりやすかった。 一方で、例えが下手なのだろうか、ところどころ分かりにくい部分も多い。「当然～」という書き方も多いが、論理的必然性がない場合も多く、かえって読みにくい箇所もあった。シンプルに書いてくれれば非常にわかりやすかったのではないかと思う。 が、トータルすると入門書として良書だと思う。

2021/10/02

[ゆう]

論理の繋がりが不明確な文章が多く非常にわかりづらい。

2024/01/24

[さぼん]

各モデルのプロセスがこれでもかとわかりやすく示されている点でとても貴重な強化学習の教科書だと感じる。

2023/01/01

[おしるこ]

主要な概念をわかりやすく、手計算レベルで解説してくれる本。最後の最後以外はめちゃくちゃ丁寧でわかりやすい。深層学習の知識だけは別途理解する必要がある。 何回も読みたい。

2019/07/17

[おしるこ]

主要な概念をわかりやすく、手計算レベルで解説してくれる本。最後の最後以外はめちゃくちゃ丁寧でわかりやすい。深層学習の知識だけは別途理解する必要がある。 何回も読みたい。

2019/07/17