Compass Booksシリーズ つくりながら学ぶ！LLM 自作入門

著者名：SebastianRaschka/巣籠悠輔/株式会社クイープ

マイナビ出版（2025/03発売）

• ISBN：9784839987800

内容説明

LLM (大規模言語モデル) をつくりながら学ぼう！

本書はGPT型のLLM (大規模言語モデル) を一から理解して構築するために書かれました。最後まで読めばLLMの仕組みがしっかりと理解でき、独自のモデルを構築するためのスキルを身につけることができます。作成するモデルは大規模な基礎モデルと比べると規模は小さいものの概念は同じであり、最先端のLLMの構築に使われているメカニズムやテクニックを理解するための強力なツールとなるでしょう。


1章　大規模言語モデルを理解する
2章　テキストデータの準備
3章　Attentionメカニズムのコーディング
4章　テキストを生成するためのGPTモデルを一から実装する
5章　ラベルなしデータでの事前学習
6章　分類のためのファインチューニング
7章　指示に従うためのファインチューニング
付録A　PyTorch 入門
付録B　参考資料
付録C　練習問題の解答
付録D　訓練ループに高度なテクニックを追加する
付録E　LoRAによるパラメータ効率のよいファインチューニング

Sebastian Raschka（セバスチャン・ラシュカ）： Lightning AI社でAIとLLM の研究開発に注力。以前はウィスコンシン大学マディソン校統計学部助教授。著書に『Python機械学習プログラミング［第3版］ 達人データサイエンティストによる理論と実践』（インプレス）がある。

［監訳］巣籠 悠輔（すごもり ゆうすけ）： 株式会社MIRA代表取締役、日本ディープラーニング協会有識者会員。2018年にForbes 30 Under 30 Asia 2018 に選出。著書に『詳解ディープラーニング』、監訳書に『Pythonによるディープラーニング』(マイナビ出版) 等がある。

［翻訳］株式会社クイープ： 1995年、米国サンフランシスコに設立。コンピュータシステムの開発、ローカライズ、コンサルティングを手がけている。2001年に日本法人を設立。主な訳書に『Python機械学習プログラミング［第3版］』『プログラマーなら知っておきたい40のアルゴリズム』（インプレス）、『なっとく！ AIアルゴリズム』（翔泳社）、『Pythonによるディープラーニング』（マイナビ出版）などがある。 http://www.quipu.co.jp

※この商品は固定レイアウト型の電子書籍です。
※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字列のハイライトや検索、辞書の参照、引用などの機能が使用できません。
※お使いの端末で無料サンプルをお試しいただいた上でのご購入をお願いいたします。

目次

1章　大規模言語モデルを理解する
2章　テキストデータの準備
3章　Attentionメカニズムのコーディング
4章　テキストを生成するためのGPTモデルを一から実装する
5章　ラベルなしデータでの事前学習
6章　分類のためのファインチューニング
7章　指示に従うためのファインチューニング
付録A　PyTorch 入門
付録B　参考資料
付録C　練習問題の解答
付録D　訓練ループに高度なテクニックを追加する
付録E　LoRAによるパラメータ効率のよいファインチューニング

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[Thinking_sketch_book]

★★★★★ 良書です。openaiのapiパラメータでtemperature とtop-pが雰囲気だけの理解だったので読みました。 内容は非常に細かく1章から順に章毎に積み重ねるようにコードを書くスタイルです。 まず概念と簡易的な原理理解、その後コード化、最後に関数やクラスなどのカプセル化のサイクルを繰り返していきます。 ディープニューラルネットを理解していれば読めるように工夫されているのがとても良くできていて一つ一つ理解ができれば確実に読み進められるようになっていました。（その分忍耐は必要でした）

2025/05/30

[io]

やっぱり専門外なので、難しかったです…

2025/05/14