出版社内容情報
本書は、GPT型のLLM (大規模言語モデル) を一から理解して構築するために書かれました。
テキストデータの扱い方とAttentionメカニズムのコーディングの基礎を理解した後、完全なGPTモデルの実装に取り組みます。
本書の特徴は、LLMの構築プロセス全体を包括的にカバーしていることです。これには、モデルアーキテクチャを実装するためのデータセットの扱い方から、ラベルなしデータでの事前学習、そして特定のタスク向けのファインチューニングまでが含まれています。
本書を最後まで読めばLLMの仕組みがしっかりと理解でき、独自のモデルを構築するためのスキルを身につけることができるでしょう。作成するモデルは大規模な基礎モデルに比べれば規模は小さいものの、基になっている概念は同じです。最先端のLLMの構築に使われている中核的なメカニズムやテクニックを理解するための強力なツールとなるでしょう。
［対象読者］
・LLMの仕組みを理解し、独自のモデルを一から構築する方法を学びたいと考えている機械学習の愛好家、エンジニア、学生
・本書はPyTorchを活用しており、事前にPythonプログラミングを理解している必要があります。
・機械学習、ディープラーニング、人工知能（AI）の知識があれば役立ちますが、幅広い知識や経験は必要ありません。
・高校レベルの数学、ベクトルや行列の知識は本書を理解する助けとなりますが、高度な数学の知識は不要です。
［目次］
1章 大規模言語モデルを理解する
2章 テキストデータの準備
3章 Attentionメカニズムのコーディング
4章 テキストを生成するためのGPTモデルを一から実装する
5章 ラベルなしデータでの事前学習
6章 分類のためのファインチューニング
7章 指示に従うためのファインチューニング
付録A PyTorch 入門
付録B 参考資料
付録C 練習問題の解答
付録D 訓練ループに高度なテクニックを追加する
付録E LoRAによるパラメータ効率のよいファインチューニング
“Build a Large Language Model (from Scratch)”（Manning Publishing 刊）の日本語版
内容説明
ＬＬＭ（大規模言語モデル）をスクラッチ開発で実装して生成ＡＩとディープラーニングの本質に触れよう！
目次
１ 大規模言語モデルを理解する
２ テキストデータの準備
３ Ａｔｔｅｎｔｉｏｎメカニズムのコーディング
４ テキストを生成するためのＧＰＴモデルを一から実装する
５ ラベルなしデータでの事前学習
６ 分類のためのファインチューニング
７ 指示に従うためのファインチューニング
Ａ ＰｙＴｏｒｃｈ入門
Ｂ 参考資料
Ｃ 練習問題の解答
Ｄ 訓練ループに高度なテクニックを追加する
Ｅ ＬｏＲＡによるパラメータ効率のよいファインチューニング
著者等紹介
Ｒａｓｃｈｋａ，Ｓｅｂａｓｔｉａｎ［ＲＡＳＣＨＫＡ，ＳＥＢＡＳＴＩＡＮ］ ［Ｒａｓｃｈｋａ，Ｓｅｂａｓｔｉａｎ］
ＰｈＤ．セバスチャン・ラシュカ。機械学習とＡＩに１０年以上にわたって取り組んでいる。研究者であると同時に、教育にも強い情熱を傾けている。Ｐｙｔｈｏｎによる機械学習に関するベストセラー書籍やオープンソースへの貢献で知られている。Ｌｉｇｈｔｎｉｎｇ ＡＩのスタッフリサーチエンジニアであり、ＬＬＭの実装と訓練に重点的に取り組んでいる。産業界に転身する前は、ウィスコンシン州立大学マディソン校の統計学の助教授を務めており、ディープラーニングの研究に精力的に取り組んでいた
巣籠悠輔［スゴモリユウスケ］
株式会社ＭＩＲＡ代表取締役、日本ディープラーニング協会有識者会員。医療ＡＩベンチャーを創業・ＣＴＯを務め、同社売却後は生成ＡＩ活用やＤＸ等の技術支援を大手企業・ベンチャー問わず行う。２０１８年にＦｏｒｂｅｓ ３０ Ｕｎｄｅｒ ３０ Ａｓｉａ ２０１８に選出（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。
