岩波科学ライブラリー 深層学習の原理に迫る - 数学の挑戦

著者名：今泉允聡

岩波書店（2021/09発売）

• ISBN：9784000297035

内容説明

第三次人工知能（AI）ブームの中核的役割を果たす深層学習（ディープ・ラーニング）は，その高い信頼性と汎用性ゆえに様々な領域に応用されていく一方で，「なぜうまくいくのか」すなわち「なぜ優れた性能を発揮するのか」ということは分かっていない．深層学習の原理を数学的に解明するという難題に，気鋭の研究者が挑む．

目次

まえがき┴第1章　深層学習の登場┴第2章　深層学習とは何か┴第3章　なぜ多層が必要なのか┴第4章　膨大なパラメータ数の謎┴第5章　なぜパラメータの学習ができる?┴第6章　原理を知ることに価値はあるか┴引用文献

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[buuupuuu]

画像認識や言語処理などは関数と見なすことができる。深層学習はニューラルネットワークを用いてそのような関数を構成する。近年目覚ましい成果を挙げているニューラルネットワークは沢山の層を持ち、膨大な数のパラメータがある。しかし従来数学的には、層は二つで十分であり、パラメータも数が多くなるとむしろ誤差が大きくなってしまうとされてきた。このギャップをどう説明するのか。また、パラメータの学習は困難であると予想されるのに、実際にはできてしまっている。これをどう説明するのか。本書ではいくつかの理論が紹介されている。

2024/09/12

[塩崎ツトム]

数学的には上手くいかなさそうな深層学習がなぜか上手くいっているその秘密を数学的に考証。上手くいかないはずなのに上手く行っているって、まるで生き物ではないか。

2023/11/27

[月をみるもの]

「パラメーターのがデータより圧倒的に多いのに、なんで過学習にならないのか」とか「SGDはなんで、ミニマムっぽいところをロバストに発見できるの？」といった、基本的な疑問をわかりやくまとめてくれていて論文１００本まとめたレビューくらいの価値がある。とか書いてたら、最近もっとも流行ってた「深層学習(Transformer)の真相」を明らかにした論文が出てたんで、こっちも読まねば。　https://arxiv.org/abs/2105.08050

2021/05/21

[nbhd]

かなり難解な本だけど、わかったことが３つある。ひとつ、ディープラーニングというのは「関数」だということ。その関数ってのは、いわゆるy=2x+3みたいなやつを、めっちゃくっちゃ複雑にしたものらしい。ふたつ、ディープラーニングは技術としては実装されていて、けっこうイケてるんけど、その原理は数学的には解明されていないっていうこと。みっつ、本の中に「深層学習の損失関数を次元削減して可視化したもの」っていうイメージが載っているんだけど、それがとにかくウニョウニョしていて気持ち悪いこと。数学が生命体のように見えたわ。

2024/01/10

[泉を乱す]

DL関連の数学的アプローチをおさらいできてよかった。興味ある理論はそこから自身で深堀して、充実なインプットだった。

2024/09/13