出版社内容情報
ChatGPTが使う大規模言語モデル（LLM）「GPT」を一から作りながら、LLMの基本から実装まで体形的に学べます！
【本書の特徴】
●Transformerの基礎からGPTモデルまで一から作りながら学べる
●「人間の意図に沿った応答」を生成するアラインメント（SFT、DPO）の仕組みを実装で学べる
●最新の推論強化モデルまでカバー
【LLMの仕組みを3段階で理解】
●図解や平易な解説で直感的に分かる
●実際に動くPyTorchコードで理解
●理論的な背景は数式で補足
Transformerモデルを作った後、GPT-2相当のLLMを実装。さらにGPT-2だけでは実現できなかった「人間の意図に沿った応答」を生成するための技術（SFT、DPO）を、実際のコードで体験します。多数のGPUを使った大規模学習をするための分散学習についてもコードを示しながら解説します。
現代の大規模言語モデルがどのように作られているのか―、その本質をこの1冊で理解できます。
【目次】
第1章 大規模言語モデルの歴史と本書で得られること
1.1 大規模言語モデル（LLM）の変遷：2017～2026
1.2 本書の構成
1.3 実行環境について
1.4 本書の読み方
第2章 Transformerモデルの作成
2.1 RNNから、Transformerまで
2.2 アテンション機構
2.3 アテンション以外の部品
2.4 Transformerを作る
2.5 Transformerの学習と推論
第3章 GPTモデルの作成
3.1 GPTモデルの概要
3.2 トークナイザと入力処理
3.3 GPTモデルの学習
3.4 他の代表的な、LLM
第4章 大規模言語モデルの学習
4.1 データセットと前処理
4.2 複数GPUを用いた学習の並列実行
4.3 分散学習による事前学習
4.4 学習の効率化（LoRA）
第5章 アラインメント
5.1 アラインメントの基礎
5.2 指示への追従性を向上させる学習
5.3 人間の好みのフィードバックによる学習
5.4 評価
第6章 推論モデル
6.1 推論モデルとは何か
6.2 Chain-of-Thought: 推論の基盤技術
6.3 強化学習による推論能力の学習
付録 NumPy、PyTorch入門
内容説明
３段階で理解が進む。図解や平易な解説で直感的に分かる→実際に動くＰｙＴｏｒｃｈコードで理解→理論的な背景は数式で補足。
目次
線形代数に関する補足
第１章 大規模言語モデルの歴史と本書で得られること
第２章 Ｔｒａｎｓｆｏｒｍｅｒモデルの作成
第３章 ＧＰＴモデルの作成
第４章 大規模言語モデルの学習
第５章 アラインメント
第６章 推論モデル
付録
著者等紹介
井上顧基［イノウエコウキ］
株式会社Ｅｌｉｔｈ代表取締役 ＣＥＯ／ＣＴＯ。北陸先端科学技術大学院大学にて量子コンピュータ材料探索で修士号を取得。２０２２年Ｅｌｉｔｈ設立。経営と並行し、東北大学にて医学物理分野の医療ＡＩ研究（博士後期課程）に従事。研究成果として、医学物理のトップカンファレンスであるＡＡＰＭで採択され研究発表。研究・事業の両面からＡＩ社会実装を推進
下垣内隆太［シモガウチリュウタ］
株式会社Ｅｌｉｔｈ ＣＡＩＯ／Ｇｅｎｅｒａｔｉｖｅ ＡＩ Ｒｅｓｅａｒｃｈ Ｅｎｇｉｎｅｅｒ。神戸高専から東京大学電子情報工学科に編入学。その後、東京大学大学院情報理工学系研究科で拡散モデルの研究で修士号を取得。「日経Ｌｉｎｕｘ（日経ＢＰ）」に大規模言語モデルに関する記事やマルチモーダルモデルに関する記事を寄稿。日英中のトリリンガル。高専時代から培ったものづくりの精神と、大学院で身につけた最先端の知識を融合させ、革新的な技術の開発に取り組む
高島直也［タカシマナオヤ］
株式会社Ｅｌｉｔｈ ＭＬ Ｅｎｇｉｎｅｅｒ／Ｐｒｏｄｕｃｔ Ｍａｎａｇｅｒ。兵庫県立大学大学院に飛び級で進学し、医療画像ＡＩの研究で修士号を取得。国内外の学会で複数の受賞経験を持つほか、Ｋａｇｇｌｅの医療画像コンペティション（ＲＳＮＡ ２０２４）では金メダルを獲得。株式会社Ｅｌｉｔｈでは自社ＡＩプロダクト「ＧＥＮＦＬＵＸ」のプロダクトマネージャーとして開発を統括。現在はＡＩセーフティの研究にも取り組み、安全で信頼性の高いＡＩの社会実装を推進している
澤風吹［サワフブキ］
株式会社Ｅｌｉｔｈ ＰＭＯ／Ｐｒｏｊｅｃｔ Ｍａｎａｇｅｍｅｎｔ Ｏｆｆｉｃｅ。兵庫県立大学大学院にて医療画像ＡＩを研究。論文採択や国内外で多数の学会発表を行い、学会賞の受賞経験も有する。株式会社Ｅｌｉｔｈでは研究で培った技術的知見を活かし、建設・金融・ＡＩ ＳａａＳなど幅広い業界のＤＸを推進。現在はＰｈｙｓｉｃａｌ ＡＩ領域の事業統括を担い、研究と社会実装をつなぐ役割を担っている（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。
-
- 和書
- 木次線写真集
