機械学習プロフェッショナルシリーズ 深層学習 改訂第２版

著者名：岡谷貴之【著】

講談社（2022/09発売）

• ISBN：9784065133323

内容説明

◆ベストセラーの改訂版。最高最強のバイブルが大幅にパワーアップ！！◆

・トランスフォーマー、グラフニューラルネットワーク、生成モデルなどをはじめ、各手法を大幅に加筆。
・深層学習のさまざまな課題と、その対策についても詳しく解説。

[本書まえがきより抜粋]
ないもの（＝理論）ねだりをしても仕方がありません．それでも皆が研究を進めるのは，そうすることに意義があるからです．なぜうまく働くのか，なぜそうすべきか，数学的な証明はなくても，正しい説明は必ずあるはずです．それを手にできれば，目の前の課題を解決するのに，また次に進むべき道を知るうえで役に立つでしょう．
そこで本書では，それぞれの方法について，今の時点で最も納得できる説明をきちんと与えることにこだわりました．名前の通った方法であっても，理屈が成り立たない，あるいは役に立たない方法や考え方については，はっきりそう書きました．著者の主観といわれても仕方がない場合もあるかもしれませんが，そのほうが有益であると信じています．
また，現在の深層学習の広がりを把握できるように，定番となった問題・方法に加えて，重要だと思われる問題については，必ずしもそれほど有名でない方法も含めてなるべく網羅するようにしました．その取捨選択には，深層学習が実践的技術であることを踏まえ，実用性を最も重視しました．そこには，この間に著者が企業の実務家たちと行ってきた共同研究での経験が反映されています．

[主な内容]
第1章　はじめに
第2章　ネットワークの基本構造
第3章　確率的勾配降下法
第4章　誤差逆伝播法
第5章　畳み込みニューラルネットワーク
第6章　系列データのためのネットワーク
第7章　集合・グラフのためのネットワークと注意機構
第8章　推論の信頼性
第9章　説明と可視化
第10章　いろいろな学習方法
第11章　データが少ない場合の学習
第12章　生成モデル

目次

1章　はじめに
1.1 研究の歴史
1.2 本書の構成
2章　ネットワークの基本構造
2.1 ユニットと活性化関数
2.2 順伝播型ネットワーク
2.3 学習の概要
2.4 問題の定式化：出力層と損失関数の設計
3章　確率的勾配降下法
3.1 確率的勾配降下法
3.2 汎化性能と過剰適合
3.3 正則化
3.4 学習率の選定と制御
3.5 SGDの改良
3.6 層出力の正規化
3.7 重みの初期化
3.8 その他
4章　誤差逆伝播法
4.1 勾配計算の煩わしさ
4.2 誤差逆伝播法
4.3 自動微分
4.4 勾配消失問題
4.5 残差接続
5章　畳み込みニューラルネットワーク
5.1 単純型細胞と複雑型細胞
5.2 畳み込み
5.3 畳み込み層
5.4 プーリング層
5.5 畳み込み層の出力の正規化
5.6 推論のためのCNNの構造
5.7 入出力間の幾何学的関係
5.8 畳み込み層の一般化
5.9 アップサンプリングと畳み込み
5.10 物体カテゴリ認識への適用例
6章　系列データのためのネットワーク
6.1 系列データ
6.2 リカレントニューラルネットワーク
6.3 ゲート機構
6.4 自己回帰モデル
6.5 1次元畳み込みネットワーク
6.6 逆伝播の計算
7章　集合・グラフのためのネットワークと注意機構
7.1 集合データを扱うネットワーク
7.2 注意機構
7.3 トランスフォーマー
7.4 グラフニューラルネットワーク
8章　推論の信頼性
8.1 推論の不確かさ
8.2 不確かさの数理モデル
8.3 不確かさの予測
8.4 分布外入力の検出
8.5 敵対的事例
8.6 品質保証の試み
9章　説明と可視化
9.1 はじめに
9.2 入力による出力の微分
9.3 入力の遮蔽・挿入
9.4 中間層出力の表示
9.5 寄与度の分解
9.6 寄与度の逆伝播
9.7 可視化手法の評価
9.8 影響関数
9.9 学習内容の可視化
10章　いろいろな学習方法
10.1 距離計量学習
10.2 事例集合（マルチインスタンス）学習
10.3 クラスラベルの誤り
10.4 クラス間不均衡
10.5 継続・追加学習
10.6 知識蒸留
10.7 枝刈り
10.8 計算の量子化
10.9 ネットワーク構造探索
11章　データが少ない場合の学習
11.1 はじめに
11.2 データ拡張
11.3 転移学習
11.4 半教師あり学習
11.5 自己教師学習
11.6 マルチタスク学習
11.7 ドメイン適応・汎化
11.8 少数事例学習
11.9 能動学習
12章　生成モデル
12.1 データの生成モデル
12.2 自己符号化器
12.3 変分自己符号化器
12.4 敵対的生成ネットワーク
12.5 正規化フロー
12.6 ボルツマンマシン

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[オザマチ]

最近の深層学習の概念と技術をまとめた一冊。第1版よりもかなり内容が増えている。

2022/03/21

[ᚹγअәc0̸א]

Boltzmann machineを終章に残してるあたり、筆者の拘りが窺える。

[コリオリのトッポギ]

深層学習(ディープラーニング)について広く浅く学ぼう、ということで購入。理論も画像も言語も手広く書かれており、なかなか読み応えがあった。第1版から大幅に加筆されているらしい(第1版は目次だけ見たが貧弱な印象を受けた)ので、買うなら第2版の方が良いだろう。個人的な不満点を挙げるとすれば、Vision Transfomerのような画像認識分野でブレイクスルーを起こしたモデルについての記述があまりなされていなかったように感じた。まあ、これは私がコンピュータビジョン専攻ゆえかもしれない。

2023/07/27

[james]

基礎的なことを体系的に知りたくて読んだ。数式で順序立てて説明してくれる一方で、説明はできないがうまくいくような場合にはそのように記述してくれるのが助かる。より詳しく理解するには論文をあたることになる。

2023/02/02