内容説明
本書は,人工ニューラルネットワークの一つであるボルツマンマシンについて,その基本的な理論から学習方法そして機械学習や強化学習への用い方について直観的に理解できるように解説をした。
目次
1. はじめに
1.1 ボルツマンマシンと深層学習
1.2 ボルツマンマシンの定義
1.3 ボルツマンマシンの可能性
1.4 学習の目的関数
1.5 勾配法
1.6 確率的勾配法
章末問題
2. ボルツマンマシンの学習
2.1 可視ユニットのみの場合
2.1.1 勾配
2.1.2 確率的勾配
2.1.3 ヘブ則との関係
2.1.4 ヘッセ行列
2.1.5 まとめ
2.2 隠れユニットを持つ場合
2.2.1 隠れユニットの必要性
2.2.2 自由エネルギー
2.2.3 勾配
2.2.4 確率的勾配
2.2.5 ヘッセ行列
2.2.6 まとめ
2.3 判別モデルの学習
2.3.1 目的関数
2.3.2 勾配とヘッセ行列
2.3.3 まとめ
2.4 回帰モデルの学習
2.4.1 自由エネルギーを用いた回帰
2.4.2 制限ボルツマンマシンの自由エネルギー
2.4.3 期待エネルギー
2.4.4 期待エネルギーを用いた回帰
章末問題
3. サンプリングと期待値の評価
3.1 ギブスサンプリング
3.2 コントラスティブダイバージェンス
3.3 制限ボルツマンマシンからのサンプリング
3.3.1 ブロック化ギブスサンプラー
3.3.2 生成モデルの学習
3.4 平均場近似
3.5 その他の手法
3.5.1 重点サンプリング
3.5.2 独立した生成器の利用
3.5.3 フィッシャーダイバージェンス
章末問題
4. 深層モデルとその他の関連するモデル
4.1 深層信念ネットワーク
4.1.1 確率分布とサンプリング
4.1.2 層ごとの貪欲学習法
4.1.3 自己符号化器
4.2 深層ボルツマンマシン
4.3 ガウスボルツマンマシン
4.3.1 期待値で実数値を表現する場合の問題点
4.3.2 ガウスベルヌーイ制限ボルツマンマシン
4.3.3 スパイクスラブ制限ボルツマンマシン
4.4 マルコフ確率場
4.4.1 ボルツマンマシンとイジングモデル
4.4.2 高階ボルツマンマシン
章末問題
5. 時系列モデルの学習
5.1 目的関数と勾配法
5.2 条件付き制限ボルツマンマシン
5.2.1 条件付き制限ボルツマンマシンの導出
5.2.2 条件付き制限ボルツマンマシンの拡張
5.3 再帰的時間的制限ボルツマンマシン
5.3.1 時間的制限ボルツマンマシン
5.3.2 再帰的時間的制限ボルツマンマシンの導出
5.3.3 再帰的時間的制限ボルツマンマシンにおける確率の評価
5.3.4 再帰的時間的制限ボルツマンマシンの学習
章末問題
6. 時系列モデルのオンライン学習
6.1 はじめに
6.2 動的ボルツマンマシン
6.2.1 有限動的ボルツマンマシン
6.2.2 動的ボルツマンマシンの導出
6.2.3 スパイク時間依存可塑性との関係
6.3 制約の緩和
6.4 連続値をとる時系列に対する動的ボルツマンマシン
6.4.1 ガウス動的ボルツマンマシン
6.4.2 自然勾配
6.4.3 非線形特徴量
6.5 動的ボルツマンマシンの連続拡張
章末問題
7. 強化学習
7.1 マルコフ決定過程
7.2 最適性方程式と価値反復法
7.2.1 有限期間の場合
7.2.2 無限期間の場合
7.3 Q学習
7.4 活用と探索
7.5 SARSA法
7.6 方策反復法
7.7 価値関数の近似
7.7.1 Q学習での関数近似
7.7.2 SARSA法での関数近似
7.8 自由エネルギーを用いた強化学習
7.8.1 自由エネルギーの勾配
7.8.2 ボルツマン探索
7.9 部分観測環境における強化学習
7.9.1 部分観測マルコフ決定過程
7.9.2 動的ボルツマンマシンによる強化学習
章末問題
付録:隠れユニットを持つ動的ボルツマンマシン
A.1 確率分布
A.2 学習則
引用・参考文献
章末問題解答
索引