岩波科学ライブラリー 深層学習の原理に迫る―数学の挑戦

今泉 允聡【著】

岩波書店（2021/04発売）

• サイズ B6判／ページ数 126p／高さ 19cm
• 商品コード 9784000297035
• NDC分類 007.1
• Cコード C0304

出版社内容情報

第三次人工知能(AI)ブームの中核的役割を果たす深層学習(ディープ・ラーニング)は、その高い信頼性と汎用性ゆえに様々な領域に応用されていく一方で、「なぜうまくいくのか」すなわち「なぜ優れた性能を発揮するのか」ということは分かっていない。深層学習の原理を数学的に解明するという難題に、気鋭の研究者が挑む。

内容説明

第三次人工知能（ＡＩ）ブームの中核的役割を果たす深層学習（ディープラーニング）は、その高い信頼性と汎用性ゆえに様々な領域に応用されていく一方で、「なぜうまくいくのか」すなわち「なぜ優れた性能を発揮するのか」ということは分かっていない。深層学習の原理を数学的に解明するという難題に、気鋭の研究者が挑む。

目次

第１章　深層学習の登場
第２章　深層学習とは何か
第３章　なぜ多層が必要なのか
第４章　膨大なパラメータ数の謎
第５章　なぜパラメータの学習ができる？
第６章　原理を知ることに価値はあるか

著者等紹介

今泉允聡［イマイズミマサアキ］
１９８８年に宮城県仙台市に生まれる。２００７年に私立開成高校卒業。２０１１年に東京大学文学部卒業。２０１７年に東京大学経済学研究科博士課程を修了し博士号取得（統計学専攻）。統計数理研究所助教などを経て、２０２０年より東京大学総合文化研究科先進科学研究機構准教授。理化学研究所革新知能統合研究センター客員研究員、ＪＳＴさきがけ研究員、統計数理研究所客員准教授を兼ねる。研究領域は数理統計学および統計的学習理論。深層学習の理論研究や現代的複雑データの解析を行う（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[buuupuuu]

画像認識や言語処理などは関数と見なすことができる。深層学習はニューラルネットワークを用いてそのような関数を構成する。近年目覚ましい成果を挙げているニューラルネットワークは沢山の層を持ち、膨大な数のパラメータがある。しかし従来数学的には、層は二つで十分であり、パラメータも数が多くなるとむしろ誤差が大きくなってしまうとされてきた。このギャップをどう説明するのか。また、パラメータの学習は困難であると予想されるのに、実際にはできてしまっている。これをどう説明するのか。本書ではいくつかの理論が紹介されている。

2024/09/12

[塩崎ツトム]

数学的には上手くいかなさそうな深層学習がなぜか上手くいっているその秘密を数学的に考証。上手くいかないはずなのに上手く行っているって、まるで生き物ではないか。

2023/11/27

[月をみるもの]

「パラメーターのがデータより圧倒的に多いのに、なんで過学習にならないのか」とか「SGDはなんで、ミニマムっぽいところをロバストに発見できるの？」といった、基本的な疑問をわかりやくまとめてくれていて論文１００本まとめたレビューくらいの価値がある。とか書いてたら、最近もっとも流行ってた「深層学習(Transformer)の真相」を明らかにした論文が出てたんで、こっちも読まねば。　https://arxiv.org/abs/2105.08050

2021/05/21

[nbhd]

かなり難解な本だけど、わかったことが３つある。ひとつ、ディープラーニングというのは「関数」だということ。その関数ってのは、いわゆるy=2x+3みたいなやつを、めっちゃくっちゃ複雑にしたものらしい。ふたつ、ディープラーニングは技術としては実装されていて、けっこうイケてるんけど、その原理は数学的には解明されていないっていうこと。みっつ、本の中に「深層学習の損失関数を次元削減して可視化したもの」っていうイメージが載っているんだけど、それがとにかくウニョウニョしていて気持ち悪いこと。数学が生命体のように見えたわ。

2024/01/10

[泉を乱す]

DL関連の数学的アプローチをおさらいできてよかった。興味ある理論はそこから自身で深堀して、充実なインプットだった。

2024/09/13