出版社内容情報
本書は、LLMアプリケーションの開発・運用に必要な一連のプロセス――観測可能性の確保、品質評価、プロンプト管理、本番展開――を、オープンソースプラットフォーム「MLflow」を使って体系的に実践する技術書です。
LLMアプリケーションは、従来の機械学習システムとは異なる難しさを持ちます。プロンプトのわずかな変更が品質に大きく影響し、エージェントの挙動は複雑で追跡が難しく、コストは見えにくい場所で膨らみます。MLflow 3はこうした課題に正面から向き合い、トレーシング、評価（LLM-as-a-Judge）、Prompt Registry、AI Gatewayといった機能を1つのプラットフォームに統合しました。
本書では、シンプルなLLMアプリケーションから始め、RAGシステム、マルチエージェントまで段階的にカバーしています。実際に動くPythonコードとともに、「作って終わり」ではなく「運用し続けられる」LLMアプリケーションの構築方法を提供します。
【目次】
第1章 LLMOpsの世界へようこそ
1.1 なぜ今LLMOpsが必要なのか
1.2 従来のMLOpsとLLMOpsの決定的な違い
1.3 MLflowが解決するMLOps/LLMOpsの課題
1.4 本書の構成と読み方ガイド
1.5 まとめ
第2章 MLflowとは
2.1 MLflowの進化を知る
2.2 MLflow以前の機械学習プロジェクトにおける課題（～2018年）
2.3 MLOpsプラットフォームとしてのMLflowの誕生・発展（2018～2022年）
2.4 LLMのブレークスルーと課題の変化（2023～2024年）
2.5 MLflowの誕生（2025年）
2.6 まとめ
第3章 MLflowのインストールと初期設定
3.1 前提条件の確認
3.2 サンプルプロジェクトのセットアップ
3.3 サービスの設定とエージェントのテスト実行
3.4 応用（1）：OpenAI以外のLLMを使用する場合
3.5 応用（2）：より高度なTracking Serverの設定
3.6 応用（3）：マネージドMLflowの活用
3.7 まとめ
第4章 可観測性の確保──トレーシングの導入
4.1 可観測性・トレーシングとは
4.2 LLMアプリケーションにおけるトレーシング
4.3 トレーシングを有効にする
4.4 MLflow QAエージェントへのトレーシング導入
4.5 トレースに追加情報を付与する
4.6 トレーシングの仕組みと実装
4.7 応用（1）：TypeScriptアプリケーションのトレーシング
4.8 応用（2）：トレースの検索
4.9 応用（3）：OpenTelemetryとの連携
4.10 応用（4）：並行実行とスレッド安全性
4.11 まとめ
第5章 改善サイクルを加速する ──評価の仕組み
5.1 LLMアプリケーションの品質保証の難しさ
5.2 評価の始め方：まずは実際に動かしてみる
5.3 ドメイン専門家によるレビュー
5.4 評価基準を決定する
5.5 評価データセットの準備
5.6 自動評価の実行
5.7 応用（1）：会話セッションのシミュレーションと評価
5.8 応用（2）：LLMジャッジのアライメント
5.9 応用（3）：サードパーティ評価ライブラリとの連携
5.10 まとめ
第6章 プロンプトエンジニアリング──プロンプトの運用と管理
6.1 プロンプト管理の課題とPrompt Registryの価値
6.2
内容説明
ＬＬＭアプリケーションをプロトタイプで終わらせないＭＬｆｌｏｗ ３で実現する観測・評価・運用の基盤。ＡＩエージェント開発を軸に、ＭＬｆｌｏｗの主要機能を実践的に習得。トレーシングで障害の原因を可視化し、デバッグ時間を大幅削減。ＬＬＭ‐ａｓ‐ａ‐Ｊｕｄｇｅと自動評価パイプラインで品質を定量管理。Ｐｒｏｍｐｔ Ｒｅｇｉｓｔｒｙでプロンプトをバージョン管理し、改善を追跡。本番デプロイからコスト・品質のリアルタイム監視まで１冊で完結。
目次
第１章 ＬＬＭＯｐｓの世界へようこそ
第２章 ＭＬｆｌｏｗとは
第３章 ＭＬｆｌｏｗのインストールと初期設定
第４章 可観測性の確保―トレーシングの導入
第５章 改善サイクルを加速する―評価の仕組み
第６章 プロンプトエンジニアリング―プロンプトの運用と管理
第７章 本番環境で動かす―サービングとデプロイメント
第８章 監視と運用―ＬＬＭアプリケーションの健全性管理
第９章 実践ケーススタディ
第１０章 エンタープライズ環境でのＭＬｆｌｏｗ活用
第１１章 ＬＬＭＯｐｓの未来とベストプラクティス
付録Ａ ＭＬｆｌｏｗ ＣＬＩリファレンス（ＬＬＭ関連）
付録Ｂ トラブルシューティングガイド
付録Ｃ 用語集
著者等紹介
弥生隆明［ヤヨイタカアキ］
大手製造業にてインフラ管理・システム開発、大手ＩＴメーカーにて自然言語処理の研究開発・ＩＴコンサルティング・サービス開発運用・海外赴任を経て、外資系コンサルティングファームでデータ分析プロジェクトに従事。現在はＤａｔａｂｒｉｃｋｓ Ｊａｐａｎにて、生成ＡＩおよびデータエンジニアリングを専門にＤａｔａｂｒｉｃｋｓの導入支援に取り組む。２０２６年４月より青山学院大学特別研究員を兼務。興味・得意分野は生成ＡＩ、データエンジニアリング、Ｗｅｂアプリ、Ｄａｔａｂｒｉｃｋｓ
渡辺祐貴［ワタナベユウキ］
Ａｍａｚｏｎ Ｊａｐａｎにて機械学習エンジニアとして従事したあと、現在はＤａｔａｂｒｉｃｋｓにてオープンソースＭＬｆｌｏｗのテックリードを務め、ＬＬＭＯｐｓ領域の開発を推進している。とくにＬＬＭアプリケーションの可観測性および評価機能の設計・開発をリードし、ＭＬｆｌｏｗのＧｅｎＡＩ対応を牽引。興味・得意分野は機械学習・ＡＩ、プラットフォーム開発
大内山浩［オオウチヤマヒロシ］
大手外資系ＩＴメーカーにてソフトウェア開発や戦略コンサルティングに従事。その後、大手外資系ソフトウェアベンダーにてクラウドを活用したデータ・ＡＩ導入を推進し、大手半導体メーカーではＡＩスペシャリストとして技術営業やエバンジェリズム活動に携わる。現在はＤａｔａｂｒｉｃｋｓ ＪａｐａｎにてＡＩ領域の専門家として企業のＡＩ導入・活用支援に取り組む。専門学校の教育顧問も兼務。興味・得意分野はＡＩ、クラウドアーキテクチャ、データ活用戦略
平田東夢［ヒラタトウム］
Ｄａｔａｂｒｉｃｋｓソフトウェアエンジニア。大学院で深層学習を用いた動画認識などの研究をしたあと、Ｉｎｄｅｅｄ Ｊａｐａｎで広告モデルの分析や推薦システムの開発を行う。ＤａｔａｂｒｉｃｋではＭＬｆｌｏｗやＡＩエージェントフレームワークＤＳＰｙの開発に従事。興味・得意分野は機械学習、因果推論、統計
河村春孝［カワムラハルタカ］
Ｄａｔａｂｒｉｃｋｓソフトウェアエンジニア。元データサイエンティスト。業務内でＭＬｆｌｏｗを利用していたことをきっかけに２０１９年にＭＬｆｌｏｗへのコントリビューションを開始。２０２０年にＤａｔａｂｒｉｃｋｓに入社し、メンテナーとしてプロジェクトの開発・発展に取り組んでいる（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。
