内容説明
※この商品は固定レイアウトで作成されており、タブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字列のハイライトや検索、辞書の参照、引用などの機能が使用できません。
ChatGPTが使う大規模言語モデル（LLM）「GPT」を一から作りながら、LLMの基本から実装まで体形的に学べます！
【本書の特徴】
●Transformerの基礎からGPTモデルまで一から作りながら学べる
●「人間の意図に沿った応答」を生成するアラインメント（SFT、DPO）の仕組みを実装で学べる
●最新の推論強化モデルまでカバー
【LLMの仕組みを3段階で理解】
●図解や平易な解説で直感的に分かる
●実際に動くPyTorchコードで理解
●理論的な背景は数式で補足
Transformerモデルを作った後、GPT-2相当のLLMを実装。さらにGPT-2だけでは実現できなかった「人間の意図に沿った応答」を生成するための技術（SFT、DPO）を、実際のコードで体験します。多数のGPUを使った大規模学習をするための分散学習についてもコードを示しながら解説します。
現代の大規模言語モデルがどのように作られているのか―、その本質をこの1冊で理解できます。
目次
第1章 大規模言語モデルの歴史と本書で得られること
1.1 大規模言語モデル（LLM）の変遷：2017～2026
1.2 本書の構成
1.3 実行環境について
1.4 本書の読み方
第2章 Transformerモデルの作成
2.1 RNNから、Transformerまで
2.2 アテンション機構
2.3 アテンション以外の部品
2.4 Transformerを作る
2.5 Transformerの学習と推論
第3章 GPTモデルの作成
3.1 GPTモデルの概要
3.2 トークナイザと入力処理
3.3 GPTモデルの学習
3.4 他の代表的な、LLM
第4章 大規模言語モデルの学習
4.1 データセットと前処理
4.2 複数GPUを用いた学習の並列実行
4.3 分散学習による事前学習
4.4 学習の効率化（LoRA）
第5章 アラインメント
5.1 アラインメントの基礎
5.2 指示への追従性を向上させる学習
5.3 人間の好みのフィードバックによる学習
5.4 評価
第6章 推論モデル
6.1 推論モデルとは何か
6.2 Chain-of-Thought: 推論の基盤技術
6.3 強化学習による推論能力の学習
付録 NumPy、PyTorch入門
-
- 電子書籍
- 学校時報 1960年8月号
