出版社内容情報
「図表を読めるAI」を作る
近年、テキストだけでなく、図や表やグラフといった画像を含む資料からも情報を検索・活用できる「マルチモーダルRAG（Retrieval-Augmented Generation）」の重要性が高まっています。従来のテキストベースRAGが扱える情報はテキストデータに限定されており、実務現場で扱う文書──技術報告書、研究論文、プレゼン資料──のように、図表を多く含むデータには十分対応できませんでした。本書は、この課題を踏まえ、実務文書にも対応できるマルチモーダルRAGについて体系的に解説します。
本書では、自分の手でマルチモーダルRAGを構築できるようになることを目指します。全体を通して、手を動かしながら理解できるよう、再現可能なコード例を多数提示しています。
<本書の構成>
・第1章：基本的な構成のRAG（データベース・検索器・生成器）をPythonで実装し、RAGの仕組みを理解します。
・第2章：画像をテキストに変換する方式と、画像とテキストを同一のベクトル空間に埋め込む方式という、2種類のマルチモーダルRAG の実装方法を紹介します。
・第3章：Embed-4やCLIP-RAG、反復型RAGといった最新手法を概観し、マルチモーダル知覚統合の潮流を整理します。
・第4章：特定領域の画像（医療画像、技術図面など）に特化したマルチモーダル RAG の構築を目指し、projectorやLLM、デュアルエンコーダのファインチューニング方法を実例とともに解説します。
【目次】
はじめに
目次
第１章 テキストベースのRAG
第２章 マルチモーダルRAG
第３章 マルチモーダルRAGの実装手法
第４章 特化型マルチモーダルRAG
おわりに
参考文献
索引
内容説明
複雑なグラフ、レイアウトの崩れたＰＤＦ、専門的な画像データ…社内に散らばる非構造化データを検索・活用するための実装アプローチ。テキストだけのＲＡＧから、画像も読み解く「マルチモーダルＲＡＧ」へ。検索精度を飛躍させるＣｏｌＰａｌｉ、自律的に動くＡｇｅｎｔｉｃ ＲＡＧ（ＬａｎｇＧｒａｐｈ）。最新ツールを組み合わせて、マルチモーダルＲＡＧの最小構成を自作する！
目次
１ テキストベースのＲＡＧ
２ Ｒｅｓｐｏｎｓｅｓ ＡＰＩのｆｉｌｅ ｓｅａｒｃｈによるＲＡＧ
３ 標準的なマルチモーダルＲＡＧ
４ ＣｏｌＰａｌｉを利用したマルチモーダルＲＡＧ
５ エージェントによる自律制御を組み込んだＭＭＡ‐ＲＡＧ
６ ＶＱＡを中核としたマルチモーダルＲＡＧ
著者等紹介
新納浩幸［シンノウヒロユキ］
１９６１年生まれ。現在、茨城大学工学部情報工学科教授、博士（工学）。専門は自然言語処理（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。
