機械学習スタートアップシリーズ Ｐｙｔｈｏｎで学ぶ強化学習―入門から実践まで

久保 隆宏【著】

講談社（2019/01発売）

• サイズ A5判／ページ数 303p／高さ 21cm
• 商品コード 9784065142981
• NDC分類 007.1
• Cコード C3041

出版社内容情報

強化学習が実装できる！　エンジニアのために、Ｐｙｔｈｏｎのサンプルコードとともに、ゼロからていねいに解説。コードも公開！・Pythonプログラミングとともに、ゼロからていねいに解説。
・コードが公開されているから、すぐ実践できる。
・実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。

【おもな内容】

Day1　強化学習の位置づけを知る

Day2　強化学習の解法(1): 環境から計画を立てる
　価値の定義と算出: Bellman Equation
　動的計画法による状態評価の学習: Value Iteration
　動的計画法による戦略の学習: Policy Iteration
　モデルベースとモデルフリーとの違い

Day3　強化学習の解法(2): 経験から計画を立てる
　経験の蓄積と活用のバランス: Epsilon-Greedy法
　計画の修正を実績から行うか、予測で行うか: Monte Carlo vs Temporal Difference
　経験を状態評価、戦略どちらの更新に利用するか

Day4　強化学習に対するニューラルネットワークの適用
　強化学習にニューラルネットワークを適用する
　状態評価を、パラメーターを持った関数で実装する: Value Function Approximation
　状態評価に深層学習を適用する: Deep Q-Network
　戦略を、パラメーターを持った関数で実装する: Policy Gradient
　戦略に深層学習を適用する: Advantage Actor Critic(A2C)
　状態評価か、戦略か

Day5　強化学習の弱点
　サンプル効率が悪い
　局所最適な行動に陥る、過学習をすることが多い
　再現性が低い
　弱点を前提とした対応策

Day6　強化学習の弱点を克服するための手法
　サンプル効率の悪さへの対応：モデルベースとの併用／表現学習
　再現性の低さへの対応：進化戦略
　局所最適な行動/過学習への対応：模倣学習／逆強化学習

Day7　強化学習の活用領域
　行動の最適化
　学習の最適化

Day1　強化学習の位置づけを知る
Day2　強化学習の解法(1): 環境から計画を立てる
Day3　強化学習の解法(2): 経験から計画を立てる
Day4　強化学習に対するニューラルネットワークの適用
Day5　強化学習の弱点
Day6　強化学習の弱点を克服するための手法
Day7　強化学習の活用領域


久保 隆宏［クボ タカヒロ］
著・文・その他

内容説明

Ｐｙｔｈｏｎプログラミングとともに、ゼロからていねいに解説。コードが公開されているから、すぐ実践できる。実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。

目次

１　強化学習の位置づけを知る
２　強化学習の解法（１）：環境から計画を立てる
３　強化学習の解法（２）：経験から計画を立てる
４　強化学習に対するニューラルネットワークの適用
５　強化学習の弱点
６　強化学習の弱点を克服するための手法
７　強化学習の活用領域

著者等紹介

久保隆宏［クボタカヒロ］
ＴＩＳ株式会社戦略技術センター所属。現在は、「人のための要約」を目指し、少ない学習データによる要約の作成・図表化に取り組む。また、論文のまとめを共有するａｒＸｉｖＴｉｍｅｓの運営、『直感Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ』オライリージャパン（２０１８）の翻訳など、技術の普及を積極的に行っている（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[センケイ (線形)]

他の理論の本を人だとするなら、これはそれを包み込む部屋のような本だ。運用の仕方から近年の新しい動きまで、幅広く実態を網羅している。抑えている論文たるや、圧巻である。ソースコードについては、確かに前評判でも聞いたように、定義と使用が離れていて辛い箇所がある。とはいえプログラムになっているのはやはり有難くて、報酬の設計など、数式や文だけでは誤読している不安のあった箇所がより一意に示されるので、自分の理解を確かめるのにも大いに役立つ。これを読まずして強化学習を語っていたのを今や恥じるばかりだ。

2019/04/08

[shin_ash]

コードが分かる人向けの強化学習の解説本。私はコードが書ける人では無いので、四苦ハ苦しながらコードを読んで、何と無くやってる事が理解できた程度の読み方になってしまう。とは言え、それでも強化学習の考え方が何と無くでも理解する事ができた。理論や考え方を理解するには数式中心の方が良いかもしれないが、その数式をコードに落とすことは別問題なので強化学習の考え方とその実装を繋ぐ意味では恐らく貴重な良書となるだろう。また、強化学習は学習の方法であり、ある意味でアルゴリズムそのものであるので、この方向の解説は有用だろう。

2019/03/21

[yyhhyy]

強化学習を動かしながら学ぶという本。読んだのは第1版。古いためか例がゲームに偏っている。それなりに深層学習をpythonで使いこなしていないとコード部分はピンと来ない。

2023/03/11

[Wisdom]

古典的な強化学習からディープな強化学習まで概観＋αできるし，動かせる． Neural Architecture Searchや逆強化学習にも触れられているのがGood！

2019/06/24