自然言語処理シリーズ8 トピックモデルによる統計的潜在意味解析

著者名：奥村学【監修】/佐藤一誠

コロナ社（2021/05発売）

• ISBN：9784339027587

内容説明

大量のデータの背後にある潜在的な情報を抽出する技術として，トピックモデルと呼ばれる統計モデルの研究が近年注目を集めている。本書はこれについて，言語処理という具体的な問題に対して，その理論と応用をわかりやすく解説する。

目次

0. 本書の使い方

　0.1　 本書の読み方
　0.2　 各章と付録の説明
　0.3　 本書で用いる記号など

1. 統計的潜在意味解析とは

　1.1 　潜在的意味・トピックと潜在的共起性
　1.2 　潜在意味解析の歴史
　1.3 　統計的潜在意味解析とデータ駆動インテリジェンスの創発
　1.4　 確率的潜在変数モデル
　1.5 　確率的生成モデルとグラフィカルモデル

2. Latent Dirichlet Allocation

　2.1　 概要
　2.2 　多項分布とDirichlet分布
　2.3 　LDAの生成過程
　2.4　 LDAの幾何学的解釈
　2.5　 LDAの応用例

3. 学習アルゴリズム

　3.1　 統計的学習アルゴリズム
　3.2　 サンプリング近似法
　　3.2.1 　ギブスサンプリング
　　3.2.2 　周辺化ギブスサンプリング
　　3.2.3　 LDAのギブスサンプリング
　　3.2.4　 LDAの周辺化ギブスサンプリング
　3.3 　変分近似法
　　3.3.1　 変分法
　　3.3.2　 変分ベイズ法(1)
　　3.3.3 　変分ベイズ法(2)
　　3.3.4　 LDAの変分ベイズ法(準備)
　　3.3.5　 LDAの変分ベイズ法(1)
　　3.3.6　 LDAの変分ベイズ法(2)
　　3.3.7　 LDAの変分ベイズ法(3)
　　3.3.8　 LDAの周辺化変分ベイズ法
　3.4 　逐次ベイズ学習――変分近似法の場合――
　　3.4.1 　確率的最適化と逐次学習
　　3.4.2 　自然勾配法
　　3.4.3　 LDAの確率的変分ベイズ法
　3.5　 逐次ベイズ学習――サンプリング近似法の場合――
　　3.5.1　 粒子フィルタ
　　3.5.2　 LDAの粒子フィルタ
　3.6　 Dirichlet分布のパラメータ推定
　　3.6.1 　対称/非対称Dirichlet分布の性質
　　3.6.2　 変分ベイズ法におけるDirichlet分布のパラメータ推定
　　3.6.3　 固定点反復法
　　3.6.4 　ニュートン・ラフソン法
　　3.6.5 　逐次学習?確率的ニュートン・ラフソン法
　　3.6.6 　周辺化ギブスサンプリング/変分ベイズ法の場合
　3.7 評価方法
　　3.7.1　 Perplexity
　　3.7.2　 各種学習アルゴリズムにおけるPerplexityの計算方法
　　3.7.3　 新規文書におけるPerplexityの計算方法
　　3.7.4　 Coherence
　3.8　 各種学習アルゴリズムの比較
　3.9 モデル選択

4. 潜在意味空間における回帰と識別

　4.1 　背景
　4.2 　潜在意味空間における回帰問題
　　4.2.1 　正規回帰モデル
　　4.2.2 　LDA+正規回帰モデル
　　4.2.3　 LDA+正規回帰モデルの学習アルゴリズム
　　4.2.4　 一般化線形モデル
　　4.2.5　 LDA+一般化線形モデル
　　4.2.6　 LDA+ポアソン回帰モデル
　4.3 　潜在意味空間における分類問題
　　4.3.1　 LDA+ロジスティック回帰モデル
　　4.3.2　 LDA+多クラスロジスティック回帰モデル
　　4.3.3　 LDA+SVM
　　4.3.4　 LDA+SVMの学習アルゴリズム

5. 拡張モデル

　5.1 　相関構造のモデリング
　　5.1.1　 モデリング
　　5.1.2　 学習アルゴリズム
　5.2 　系列データのモデリング――統語構造のモデリング――
　　5.2.1 　モデリング
　　5.2.2 　学習アルゴリズム
　5.3　 時系列データのモデリング
　　5.3.1 　モデリング
　　5.3.2　 カルマンフィルタの基礎
　　5.3.3 　学習アルゴリズム
　5.4 　補助情報を考慮したモデリング
　　5.4.1　 モデリング
　　5.4.2　 学習アルゴリズム

付録

　A.1 　対数周辺尤度，KL情報量，変分下限の関係の証明
　A.2 　ヘッセ行列の逆行列
　A.3 　KL情報量とフィッシャー情報行列の関係
　A.4　 制約なし最適化
　　A.4.1 　最急降下法
　　A.4.2 　共役性
　　A.4.3 　共役勾配法
　A.5　 制約付き最適化
　　A.5.1 　ラグランジュ未定乗数法とKKT条件
　　A.5.2 　ラグランジュ緩和と双対問題
　A.6 　双対座標降下法によるSVMの学習
　　A.6.1 　SVMの双対問題
　　A.6.2　 双対座標降下法
　　A.6.3　 双対座標降下法の収束定理
　A.7 　確率的最適化
　A.8 　ラプラス変分ベイズ法
　　A.8.1 　ラプラス近似と変分ベイズ法への適用
　　A.8.2 　CTMにおけるラプラス変分ベイズ法
　A.9 　ベクトルと行列の基本的な演算公式
　A.10 　期待値，分散，共分散の基礎
　A.11 　正規分布の基礎
　　A.11.1 　対称性
　　A.11.2 　正規分布間の基本的な計算
　　A.11.3 　多次元正規分布の条件付き確率分布

引用・参考文献
索引

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[carbon_twelve]

LDAの論文やらPRMLやらチュートリアルやらを読んでもちんぷんかんぷんだった推論アルゴリズムの導出を非常に丁寧に解説しているので助かった。トピックモデルに限らずグラフィカルモデルの推論を学ぼうと思っている人全般に勧めたい。

2016/03/21

[Shuhei Iitsuka]

数式の展開がものすごく丁寧です．トピックモデルに限らず，どのようにベイズ統計が近年の機械学習の学習アルゴリズムに貢献しているのかを理解することができます．

2017/03/23

[ひかぷら]

LDAのモデル概要，学習アルゴリズム，拡張モデルについて1冊で学べる優れもの．説明は非常に丁寧だがノーテーションが独特&確率論の知識がないと辛いものがあるので丁寧に読み進めないと死ぬ．

2016/12/30

[Tsukasa Fukunaga]

文章とは複数のトピックから出力される単語の混合状態である、とみなすトピックモデルの教科書。基本的な説明から、学習方法(サンプリング、変分ベイズどちらも)、より高度なモデリング(回帰や識別、HMMとの組み合わせなど)について述べられている。高度なモデリング手法についても学習アルゴリズムが丁寧に説明されているのが非常に参考になる。学習アルゴリズムの数学的導出は中々大変だが、PRMLを読んだ人ならそこまで苦なく読めるだろう。バイオインフォにはあまり使われていないモデルだと思うので、どう応用できるか考えたい。

2015/04/10

[ミスタ！]

図書館での流し読み。やりたいことや、モデリング自体の意味はわかるけど、やっぱり実際に手を動かさないと実感わかない。あと、ベイズはまじでやんないと、これからの手法についていけないな。

2019/03/23