出版社内容情報
人気シリーズの第6弾。話題のLLM（大規模言語モデル）に挑戦する！
人気シリーズの第6弾。今回のテーマは「大規模言語モデル（LLM）」です。ChatGPTの魔法のような能力、その仕組みを自らの手で解き明かしてみませんか？ 本書では、トークナイザからTransformer、事前学習から事後学習まで、LLMを支える技術をゼロから実装します。実装の舞台となるのは、CodeBot→StoryBot→WebBotという3段階のチャットボット開発。作るほどに、見えてくる－－そんな読書体験が待っています。
【目次】
内容説明
人気シリーズの第６弾。今回のテーマは「大規模言語モデル（ＬＬＭ）」です。ＣｈａｔＧＰＴの魔法のような能力、その仕組みを自らの手で解き明かしてみませんか？本書では、トークナイザからＴｒａｎｓｆｏｒｍｅｒ、事前学習から事後学習まで、ＬＬＭを支える技術をゼロから実装します。実装の舞台となるのは、ＣｏｄｅＢｏｔ→ＳｔｏｒｙＢｏｔ→ＷｅｂＢｏｔという３段階のチャットボット開発。作るほどに、見えてくる―そんな読書体験が待っています。
目次
第１部 基本編―ＣｏｄｅＢｏｔを作る（トークナイザ 基本編；モデル 基本編；学習 基本編）
第２部 応用編―ＳｔｏｒｙＢｏｔを作る（トークナイザ 応用編；モデル 応用編；学習 応用編）
第３部 挑戦編―ＷｅｂＢｏｔを作る（トークナイザ 挑戦編；モデル 挑戦編；学習 挑戦編）
付録Ａ ＵＴＦ‐８エンコーディングの仕組み
付録Ｂ Ａｔｔｅｎｔｉｏｎのスケーリング効果の証明
付録Ｃ ベースライン付き方策勾配の不偏性の証明
付録Ｄ Ａｄａｍのバイアス補正
付録Ｅ ＤＰＯの最適解の導出
著者等紹介
斎藤康毅［サイトウコウキ］
１９８４年長崎県対馬生まれ。東京工業大学工学部卒、東京大学大学院学際情報学府修士課程修了。現在、企業にて人工知能に関する研究開発に従事（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。
