出版社内容情報
★現代の自然言語処理技術を体系的に学べる入門書の決定版！★
Transformerはもちろん、MoEやマルチモーダルLLMなどの最新アーキテクチャ、高速化に必須のアクセラレータや分散学習、さらにLLMの推論設計、評価方法、安全性までを幅広く解説。
単に、LLMをブラックボックスとして利用するのではなく、その内部で何が起きているのかを根本から理解し、確かな知識の土台を築くことができる！
また、言葉だけでは捉えにくい原理やアルゴリズムを、豊富な図やイラストによって直感的に理解できる。
さらに、豊富なPython演習を通して、学んだ知識を実際に手を動かしながら確認でき、理解を着実に深められる。
【サポートサイト】
https://github.com/ryokan0123/nlp-illustrated
【目次】
第1章 自然言語処理の概要
第2章 確率的言語モデルの基礎
第3章 トークナイザの基礎
第4章 ニューラルネットワークの基礎
第5章 Transformer
第6章 アクセラレータと分散学習
第7章 LLMの学習
第8章 LLMの推論と活用
第9章 LLMの評価と安全性
第10章 マルチモーダルLLM
【目次】
第1章 自然言語処理の概要
1.1 自然言語処理でできること
1.2 なぜ自然言語は難しいのか
1.3 自然言語処理の歴史
第2章 確率的言語モデルの基礎
2.1 言語モデルとは何か
2.2 テキストの確率計算
2.3 コーパス：言語のお手本集
2.4 N-gram言語モデル：原始的な言語モデル
2.5 パープレキシティ：言語モデルの評価指標
2.6 N-gram言語モデルの限界
第3章 トークン化の基礎
3.1 トークン化とは何か
3.2 さまざまなトークン化の粒度
3.3 Byte Pair Encoding(BPE)
第4章 ニューラルネットワークの基礎
4.1 ニューラルネットワークの概要
4.2 勾配降下法による1 次関数の係数の学習
4.3 線形なパターンの学習
4.4 非線形なパターンの学習
4.5 ニューラルN-gram言語モデル
4.6 最適化手法の発展
第5章 Transformer
5.1 Transformerはなぜ重要か
5.2 Transformerの構成要素
5.3 エンコーダ型Transformer
5.4 デコーダ型Transformer
5.5 エンコーダ・デコーダ型Transformer
5.6 Mixture of Experts
第6章 アクセラレータと分散学習
6.1 深層学習用アクセラレータの基本
6.2 分散学習
第7章 LLMの学習
7.1 事前学習
7.2 指示チューニング
7.3 報酬に基づくチューニング
7.4 REINFORCE
第8章 LLMの推論と活用
8.1 文章生成におけるデコーディング
8.2 プロンプトの設計
8.3 推論スケーリング
8.4 熟考モデル
8.5 外部ツールとの統合
第9章 LLMの評価と安全性
9.1 評価の難しさ
9.2 LLM の有用性・タスク性能の評価
9.3 安全性という評価軸
第10章 マルチモーダルLLM
10.1 カスケード型のアプローチ
10.2 統合型のアプローチ
10.3 画像エンコーダ：Vision TransformerとCLIP
10.4 音声エンコーダ：スペクトログラムとWhisper
10.5 エンコーダとLLMの統合
10.6 マルチモーダルLLMの課題
内容説明
最短にして標準。ついに出た！！！！！！ブラックボックスのまま使うのではなく、その仕組みを根っこから理解する！言葉だけでは伝わりにくい原理も、豊富なイラストや図で一目でわかる！手を動かして確かめることができるＰｙｔｈｏｎ演習が充実！
目次
第１章 自然言語処理の概要
第２章 確率的言語モデルの基礎
第３章 トークン化の基礎
第４章 ニューラルネットワークの基礎
第５章 Ｔｒａｎｓｆｏｒｍｅｒ
第６章 アクセラレータと分散学習
第７章 ＬＬＭの学習
第８章 ＬＬＭの推論と活用
第９章 ＬＬＭの評価と安全性
第１０章 マルチモーダルＬＬＭ
著者等紹介
李凌寒［リリョウカン］
博士（情報理工学）。２０２３年、東京大学大学院情報理工学系研究科博士課程修了。ＳＢ Ｉｎｔｕｉｔｉｏｎｓ株式会社を経て、現在、Ｇｏｏｇｌｅ ＤｅｅｐＭｉｎｄリサーチエンジニア。言語や技術の面白さを噛み砕いて伝えることに関心がある。ことばの不思議を探究するＹｏｕＴｕｂｅチャンネル「ことラボ」を運営し、チャンネル登録者数は１４万人（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。
