Optunaによるブラックボックス最適化

著者名：佐野正太郎【著】/秋葉拓哉【著】/今村秀明【著】/太田健【著】/水野尚人【著】/柳瀬利彦【著】

オーム社（2023/02発売）

• ISBN：9784274230103

内容説明

チューニングを自動化するブラックボックス最適化について詳説
　本書は，機械学習に欠かせないハイパーパラメータ調整（チューニング）を自動化するブラックボックス最適化について一からわかりやすく，そして，詳しく説明した書籍です．合わせて，Python言語上で動作するフレームワーク“Optuna”によるブラックボックス最適化の実行を，Optunaの開発者ら自ら詳しく説明しており，基礎を理解しながら実践に即した知識を身につけることができます．
　いまや機械学習は多種多様な応用が広く図られており，技術者／研究者，学生全般にとって必修といえるスキルになっていますが，その際に手間を要するのが，ハイパーパラメータ調整です．特に，深層学習（ディープラーニング）では，ハイパーパラメータの数が多い傾向があるうえに，その調整が性能を大きく左右するといわれています．多くの技術者が，これにかなりの時間が費やされてしまっているのが実情です．ブラックボックス最適化は汎用性も高く，機械学習のハイパーパラメータ調整に限らず，工学や日常生活にかかわる多くのことを最適化できます．例えば，本書ではミドルウェアのパフォーマンス調整や，お菓子のレシピ作成にブラックボックス最適化を応用する方法も紹介しています．
　ハイパーパラメータ調整の手間を大幅に削減するブラックボックス最適化とそのPythonベースのフレームワークOptunaについて，応用例からアルゴリズムまでを一からわかりやすく説明した書籍です．機械学習に留まらず，科学技術のあらゆる分野で登場するブラックボックス最適化に入門するにあたって最適な書籍です．

目次

CHAPTER 1　ブラックボックス最適化の基礎
1.1　ブラックボックス最適化とは？
1.2　目的関数と最適化
1.3　グリッドサーチとランダムサーチ
1.4　SMBO
1.5　ブラックボックス最適化の利用対象

CHAPTER 2　はじめてのOptuna
2.1　環境構築
2.2　簡単な数式の最適化
2.3　機械学習のハイパーパラメータのOptunaによる最適化

CHAPTER 3　Optunaを使いこなす
3.1　多目的最適化
3.2　制約付き最適化
3.3　可視化機能を用いた探索空間の調整
3.4　探索点の手動指定
3.5　分散並列最適化
3.6　サンプラーの選択
3.7　枝刈り

CHAPTER 4　ブラックボックス最適化の応用例
4.1　機械学習のハイパーパラメータの最適化：音声認識ソフトウェアMozilla DeepSpeech
4.2　パイプラインフレームワークとハイパーパラメータ最適化
4.3　継続的なモデル改善でのOptunaの使い方
4.4　オンライン広告入札システムの実行環境の最適化
4.5　クッキーレシピの最適化
4.6　ニューラルアーキテクチャサーチ

CHAPTER 5　Optunaの最適化の仕組み
5.1　Optunaの柔軟なインタフェース
5.2　独立サンプリング
5.3　独立サンプリングの課題
5.4　同時サンプリング
5.5　パラメータ選択の全体像

CHAPTER 6　ブラックボックス最適化のアルゴリズム
6.1　探索点選択における共通の枠組
6.2　単目的最適化における探索点選択のアルゴリズム
6.3　多目的最適化における探索点選択のアルゴリズム
6.4　探索点選択アルゴリズムの使い分け

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[shin_ash]

実験計画法の発展としてベイズ最適化と探索条件の逐次選択に興味があるので読んでみた。内容的にはoptunaの使用方法を中心に考え方や技術、論文の紹介をする構成で詳細は論文に譲るスタイルで解説される。基本的にトライアル(試行)回数やコストがタダ同然の世界を前提にしている。ただしアルゴリズムにはならないが考え方は物理的な実験でも適用可能でクッキーレシピの例が出ていた。物理的な実験とは異なり全てアルゴリズムで完結する世界が中心ではあるが、最適化問題の先進的な考え方がわかった様な気がする。ベイズ最適化はガウス過程を

2023/07/15

[yyhhyy]

特徴量最適化のためのOptunaの使い方や特長を日本語で紹介した希少な本。

2023/04/22

[しろっこー]

Optunaの入門的な使い方→実践的な使い方→背景アルゴリズム→実装された各種アルゴリズムの使い分けという実践的な内容で大変勉強になった。

2025/05/02

[ONE_shoT_]

ブラックボックス最適化について気になっていたので読んだ一冊。Optunaの使い方・ブラックボックス最適化アルゴリズム・応用例について簡単に解説されている。数理構造が利用できない（数理最適化問題として定式化できない）状況でなんらか最適化をしたい状況になったら改めて読み返したい。

2024/07/12

[水紗枝荒葉]

PFN謹製のブラックボックス最適化ツールOptunaに関する入門書、兼、宣伝書。機械学習のハイパーパラメータを自動で調整してくれる。

2025/06/16