ScratchでAIを学ぼう ゲームプログラミングで強化学習を体験

著者名：伊藤真【著】

日経BP（2020/08発売）

• ISBN：9784296106943

内容説明

※この商品は固定レイアウトで作成されており、タブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字列のハイライトや検索、辞書の参照、引用などの機能が使用できません。

オリジナルのScratchゲームを使って
楽しみながらAI・強化学習を学べる

●「どんどん賢くなるAI」を３つのゲームで習得
●Scratch強化ゲームの全プログラム収録
●拡張モジュール不要！使うのはScratch標準機能のみ

強化学習とは、AIの機械学習の一種で、簡単に言えば試行錯誤の学習です。
「強化」という言葉は、動物心理学で昔から使われている用語でもあり、
私たち人間や動物も強化学習をしています。赤ちゃんは自分で寝返りを覚え、
ハイハイを覚え、いずれ立ち上がります。

産業界では空前のAI・機械学習ブームです。2016年には、強化学習が
囲碁で世界トップレベルのプロ棋士に勝つという快挙がありました。
ところが、強化学習の本はあまりありません。難しい概念や見慣れない
記号を使わざるを得ないので、難しく見えるからでしょう。しかし本来、
強化学習のアイデア自体はシンプルで、直感的には誰にでも分かるものです。

そこで、数学の知識を中学までの範囲に限定し、教育用プログラム言語
のScratchで作ったゲームを題材にした入門書を作りました。本書では強
化学習を3レベルに分け、レベルごとにオリジナルのScratchゲームを使
いながら、それをプレイする強化学習AIをていねいに解説していきます。

1章 強化学習を始めよう
2章 Scratchの使い方
3章 Scratchプログラムの作り方
4章 レベル1・砂漠でダイヤ集めゲーム
5章 レベル2・月面でダイヤ集めゲーム
6章 レベル3・お化けの飛行訓練ゲーム
7章 まとめ

目次

1章 強化学習を始めよう
1-1 強化学習とScratch
1-2 強化学習とAI
1-3 強化学習の昔と今
1-4 本書の内容

2章 Scratchの使い方
2-1 アカウントを作る
2-2 サインイン（ログイン）する
2-3 プログラムの始め方 他

3章 Scratchプログラムの作り方
3-1 「ダンシングマイケル」の説明
3-2 プログラムを始める
3-3 最終的なコードを確認する 他

4章 レベル1・砂漠でダイヤ集めゲーム
4-1 砂漠でダイヤ集めゲームの遊び方
4-2 「行動」と「報酬」
4-3 L1- Q学習のアルゴリズム
4-3-1 期待値 他

5章 レベル2・月面でダイヤ集めゲーム
5-1 月面でダイヤ集めゲームの遊び方
5-2 「行動」と「報酬」に加えて「状態」
5-3 L2- Q学習のアルゴリズム：状態2と3の場合
5-4 L2- Q学習のアルゴリズム：状態１の場合 他

6章 レベル3・お化けの飛行訓練ゲーム
6-1 お化けの飛行訓練ゲームの遊び方
6-2 巡回する状態での最適な行動
6-3 割引率
6-4 L3- Q学習のアルゴリズム 他

7章 まとめ
7-1 エージェントと環境
7-2 強化学習の目的
7-3 Q学習 他

付録
A「 砂漠でダイヤ集めゲーム」のコード
B 「月面でダイヤ集めゲーム」のコード
C「 お化けの飛行訓練ゲーム」のコード