LLMのファインチューニングとRAG ―チャットボット開発による実践―

著者名：新納浩幸【著】

オーム社（2024/05発売）

• ISBN：9784274231957

内容説明

ローカルLLMでファインチューニングとRAGを学ぼう！
本書は、公開されている大規模言語モデル（LLM: Large Language Model）を使ってローカル環境に独自のチャットボットを構築することを目標に、LLM のファインチューニングと RAG (Retrieval Augmented Generation) の基礎と、そのプログラミングについて学ぶものです。

ChatGPTの台頭により、高性能なチャットボットへの期待が急速に高まっています。しかし、そのチャットボットの核となるLLMは基本的に言語モデルであるために、幻覚（誤った情報）を生成してしまいます。とくに、LLMはローカルな情報や最新の情報は持っていないため、それらに関する質問に対しては正しい回答が期待できません。また、ChatGPTのようにLLMが外部のサーバにある場合、自社データや顧客データを入力することには抵抗があると思います。

本書では、そういった課題を解決するために、公開LLMをファインチューニングしたり、公開LLMを使ったRAGを構築したりすることで、よりニーズに沿ったチャットボットを構築します。こういった調整を行って構築したチャットボットは、特定の分野について深く正確に回答してくれるようになります。

<本書のポイント>
・LLMについての基本事項を学べます。
・LLMのファインチューニングの方法とRAGの構築方法を学べます。
・解説したプログラムをウェブサイトで配布します。

目次

第1章　大規模言語モデル
第2章　ファインチューニング：言語モデルの追加学習
第3章　Instruction Tuning：指示に基づくファインチューニング
第4章　大規模言語モデルのファインチューニング
第5章　RAG：検索を併用した文生成
第6章　ChainlitによるGUIのチャットボット

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[ぶう]

最近ではニュースで聞かない日がない位流行っている生成AI。やはりそれだけインパクトの大きい技術であるということだろう。登場から1年半ほど過ぎ、各企業でも実際の業務での活用のフェーズに入ってきつつある。各社の活用事例を見ると、生成AIを通しドメイン知識を元に回答させるといった使い方が多い。一般的でない知識を生成AIに学習させたいといった場合、一から学習させられるのはほんの一握りの大手企業だけ。残りの大半の企業でできることは、RAGやファインチューニングを使っていかに精度を出すかということになってくるだろう。

2024/06/13

[mim42]

生成AIの外部知識応用。質問を検索エンジンに投げ、返ってきた検索結果を生成AIを用いて自然な言葉に言い換える。ウェブ上の有象無象の有志による散らばったテキストを読むのも良いが、たまには少数の著者により集められた知識のスナップショットを参照したくもなる。そのような気分のエンジニア気質な人におすすめの書。今回は斜め読みした。2024年初夏時点での有用性はありそう。技術の変化が早すぎてここに書かれていることはどれもすぐに陳腐化してしまうだろうが。

2024/06/28

[smatsu]

現在の生成AIは機能によって2系統に分かれます。画像生成系AIと大規模言語モデル＝LLMです。LLMで今のメジャー所はChatGPT、Claude、Geminiの３つ。これらのLLMを素で使うとすぐに気づくのはあらかじめ学習した一般的な知識しか扱えないこと。しかしビジネスで使うならその職場特有のローカルな知識を扱うことが必要になる。そのための手法には大きく２つあって、一つがファインチューニング、もう一つがRAGである。本書はこの２つの手法についてローカルLLMを使ったハンズオンを提供する。

2024/07/05

[kk]

著者にお送りいただいた本。このところ体調を崩していて読むのが遅くなってしまった（めまい。まだ治らない）。相変わらず私にとって知りたいことがすぐ分かるので助かりました。学生に渡して動かしてと言ったらすぐ動いたらしい。ラッキー。

2024/08/08

[依田健人]

2025年1月に、本書のコードでハンズオンを実施しましたが、その時点ですでに古新聞化していて、所々ライブラリのreadmeを参考に手直ししながら進める必要がありました。LLMは2025年5月時点でも尚進化を続けている最中で、ローカルLLMにどれ程のバリューがあるかはわかりません。ですが、本書に沿ってLLMをファインチューニングすることで、ローカルLLMを運用するには如何にマシンスペックが求められるか、身をもって理解できた点は良かったです。

2025/05/05