拡散モデル - データ生成技術の数理

著者名：岡野原大輔

岩波書店（2023/03発売）

• ISBN：9784000063432

内容説明

テキストに対応する画像を生成する――従来は困難であった高次元のデータを創り出す生成モデルの技術が注目されている．現在，最高の性能を発揮し，画像・動画・音声・化合物の生成など，多様な応用が期待されているのが拡散モデルである．その数理の心から課題までを世界に先駆けて解説し，理論のさらなる発展を追究する．※この電子書籍は「固定レイアウト型」で作成されており，タブレットなど大きなディスプレイを備えた端末で読むことに適しています．また，文字だけを拡大すること，文字列のハイライト，検索，辞書の参照，引用などの機能は使用できません．

目次

はじめに：爆発的に応用が広がる拡散モデル
記号一覧
1 生成モデル
1.1 生成モデルとは何か
1.2 エネルギーベースモデル・分配関数
1.3 学習手法
1.4 高次元で多峰性のあるデータ生成の難しさ
1.5 スコア：対数尤度の入力についての勾配
1.5.1 ランジュバン・モンテカルロ法
1.5.2 スコアマッチング
1.5.3 暗黙的スコアマッチング
1.5.4 暗黙的スコアマッチングがスコアを推定できることの証明
1.5.5 デノイジングスコアマッチング
1.5.6 デノイジングスコアマッチングがスコアを推定できることの証明
1.5.7 ノイズが正規分布に従う場合の証明
1.5.8 スコアマッチング手法のまとめ
第1章のまとめ
2 拡散モデル
2.1 スコアベースモデルとデノイジング拡散確率モデル
2.2 スコアベースモデル
2.2.1 推定したスコアを使ったランジュバン・モンテカルロ法の問題点
2.2.2 スコアベースモデルは複数の攪乱後分布のスコアを組み合わせる
2.3 デノイジング拡散確率モデル
2.3.1 拡散過程と逆拡散過程からなる潜在変数モデル
任意時刻の拡散条件付確率の証明
DDPMは生成過程の一部分を抜き出して学習できる
2.3.2 DDPMの学習
式（2.4）q(xt－1|xt,x0)の証明
2.3.3 DDPMからデノイジングスコアマッチングへ
2.3.4 DDPMを使ったデータ生成
2.4 SBMとDDPMのシグナルノイズ比を使った統一的な枠組み
2.4.1 SBMとDDPMの関係
式（2.9）q(xt|xs)の平均と分散の証明
目的関数はシグナルノイズ比によって表される
2.4.2 連続時間モデル
2.4.3 ノイズスケジュールによらず同じ解が得られる
2.4.4 学習可能なノイズスケジュール
第2章のまとめ
3 連続時間化拡散モデル
3.1 確率微分方程式
3.2 SBMとDDPMのSDE表現
3.3 SDE表現の逆拡散過程
3.4 SDE表現の拡散モデルの学習
3.5 SDE表現の拡散モデルのサンプリング
3.6 確率フローODE
3.6.1 確率フローODEとSDEの周辺尤度が一致する証明
3.6.2 確率フローODEの尤度計算
3.6.3 シグナルとノイズで表される確率フローODE
3.7 拡散モデルの特徴
3.7.1 従来の潜在変数モデルとの関係
3.7.2 拡散モデルは学習が安定している
3.7.3 複雑な生成問題を簡単な部分生成問題に分解する
3.7.4 様々な条件付けを組み合わせることができる
3.7.5 生成における対称性を自然に組み込むことができる
3.7.6 サンプリング時のステップ数が多く生成が遅い
3.7.7 拡散モデルでなぜ汎化できるかの仕組みの理解が未解決
第3章のまとめ
4 拡散モデルの発展
4.1 条件付き生成におけるスコア
4.2 分類器ガイダンス
4.3 分類器無しガイダンス
4.4 部分空間拡散モデル
4.4.1 部分空間拡散モデルの学習
4.4.2 部分空間拡散モデルのサンプリング
4.5 対称性を考慮した拡散モデル
4.5.1 幾何と対称性
4.5.2 化合物配座
拡散モデルを使った対称性を備えた生成
確率密度がSE(3)不変となることの証明
SE(3)同変を達成するネットワーク
第4章のまとめ
5 アプリケーション
5.1 画像生成・超解像・補完・画像変換
5.2 動画・パノラマ生成
5.3 意味の抽出と変換
5.4 音声の合成と強調
5.5 化合物の生成と配座
5.6 敵対的摂動に対する頑健性向上
5.7 データ圧縮
第5章のまとめ
付録
A.1 事前分布が正規分布、尤度が線形の正規分布の場合の事後確率分布
A.2 ELBO
A.3 シグナルとノイズを使った確率フローODEの導出
A.4 条件付き生成問題
A.5 デノイジング暗黙的拡散モデル
A.6 逆拡散過程の確率微分方程式の証明
A.7 非ガウシアンノイズによる拡散モデル
A.8 Analog Bits：離散変数の拡散モデル
文献
索引

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[月をみるもの]

物理でフォッカープランクや SDE 解いたことある人なら、枠組み自体は見たことあるはず。なるほど、こういうふうに使うと生成モデルになるんかー。こちの画象モデルと Transformer による大規模言語モデル、モダリティの違うものが本格的に結合して、いよいよ新しい世界が見えてくる予感。

2023/04/13

[shin_ash]

岡野原さんの拡散モデルの解説である。難しい話しをわかりやすく解説し、わかった気にさせてくれる。頭のいい人が文章を書くとこうもわかりやすいのかと感動する。心が洗われる様なわかりやすさだ。一方、内容的には大変難しい。フンフン機嫌良く読んでいても「あれ？拡散モデルって何ができるの？」とふと気づく。しばらく読み進めると「ああ、そう言うことができるのね」と解説される。拡散モデルは技術的な美しさを感じる。誤差の分布にすることで認識モデルを固定にし、平均との差分にすることで誤差を学習する。非常に上手くできてると思う。

2023/03/14

[nos]

世間の拡散モデルの説明として拡散の逆回しみたいな話を見てそんなこと不可能だろうと気になっていたので読んだ。スコアベースモデルのランジュバン・モンテカルロという多次元多峰性分布をうまくサンプリングする手法とデノイジング拡散確率モデルという手法は一見大きく異なるが統一的に理解できるという説明の仕方でその辺納得できてよかった。3章は確率微分方程式の知識がないので流し読み。

2023/04/23

[yyhhyy]

stable diffusionで話題の拡散モデルについていち早く日本語で紹介。敵対的生成ネットワークにとって変わってこの先色んなライブラリが提供されていく仕組みになるんだろうと思う。

2023/02/25

[askmt]

丁度良い程度の内容を、丁度良い詳細さでまとめていて、大変参考になった。しかしノイズが本質的役割を果たす学習というのは着眼点がぶっとんでいるよなぁ。

2023/12/15