ことばのデータサイエンス

著者名：小林雄一郎【著】

朝倉書店（2026/02発売）

• ISBN：9784254510638

内容説明

コンピュータ・統計学を用いた言語学・文学研究を解説。データ解析事例も多数紹介。〔内容〕ことばのデータを集める／ことばを数える／データの概要を調べる／データを可視化する／データの違いを検証する／データの特徴を抽出する／他

目次

第1章　ことばのデータを集める
　1.1　データ設計
　　データの重要性／データの代表性／データのサンプリング／コーパスの種類／アノテーション
　1.2　データ収集
　　テキストの電子化／電子的なテキストの収集／スクレイピング／データの量と質／著作権
　1.3　データ管理
　　ファイル形式／文字コード／ファイル名とフォルダ構造
　1.4　テキスト整形
　　表記ゆれの修正／正規表現

第2章　ことばを数える
　2.1　自然言語処理
　　形態素解析／構文解析／意味解析／その他の解析
　2.2　頻度集計
　　単語／共起語／n-gram

第3章　データの概要を調べる
　3.1　総語数・異語数
　3.2　語彙の多様性
　3.3　単純頻度・相対頻度
　3.4　平均値
　3.5　最大値・最小値・範囲
　3.6　分散・標準偏差
　3.7　中央値
　3.8　四分位偏差

第4章　データを可視化する
　4.1　ヒストグラム
　4.2　箱ひげ図
　4.3　折れ線グラフ
　4.4　円グラフ・帯グラフ
　4.5　モザイクプロット
　4.6　散布図
　4.7　ワードクラウド・棒グラフ
　4.8　共起ネットワーク

第5章　データの違いを検証する
　5.1　仮説検定
　　推測統計学／帰無仮説と対立仮説／χ2検定　
　5.2　効果量
　　検定とサンプルサイズ／オッズ比／φ係数／Cram　rのV

第6章　データの特徴を抽出する
　6.1　特徴語抽出
　　複数のデータにおける単語の頻度比較／差異係数による特徴語抽出／仮説検定による特徴語抽出／効果量による特徴語抽出　
　6.2　zスコア
　6.3　TF-IDF

第7章　データの結びつきの強さを測る
　7.1　共起頻度
　　共起頻度の集計／共起頻度の限界
　7.2　共起強度
　　ダイス係数／相互情報量　
　7.3　共起有意性
　　対数尤度比／Tスコア　
　7.4　共起ネットワーク

第8章　データの変化を見る
　8.1　線形単回帰分析
　　機械学習／線形単回帰分析
　8.2　線形重回帰分析　

第9章　データを分類する
　9.1　線形判別分析
　9.2　決定木
　9.3　ランダムフォレスト

第10章　データをグループ化する
　10.1　クラスター分析
　10.2　対応分析
　10.3　トピックモデル

おわりに
参考文献
索引


【コラム】
・コーパスの定義　
・テキストアーカイブ
・インターネットからのデータ収集
・短単位と長単位
・Zipfの法則
・ベストセラーに共通する要素
・クチコミ分析
・多重比較
・対数
・単語と文法・構文・意味の共起
・相関係数
・リーダビリティ
・犯罪捜査における言語分析
・判定精度の評価指標
・系統樹
・word2vec

感想・レビュー

※以下の感想・レビューは、株式会社ドワンゴの提供する「読書メーター」によるものです。

[Chicken Book]

数学の難しいところは無理でした。。。ただ、言語分析や言語処理が意外と身近なところで使われている手法であることがわかったし、言語をサイエンスするとはこういうことかと、そういうことがいろいろ勉強になりました。

2021/11/28

[kazy0324]

四章まではコーパス言語学を勉強したことがある人なら知っていそうな内容が書かれている．五章からは統計的なはなしに入っていくが八章以降の回帰分析は別の書籍を参照する必要があるかもしれない．説明はわかりやすく，「言語統計」についてざっくり知りたい人にとっては良いと思った．

2020/03/04

[叡智まん]

ド文系でも分かる言語統計入門でした。教養の統計でやったカイ二乗検定などの知識に血が通ったと思います。どんな手法や分野があるかざっくり見てどれを学んでいくかという風景を描くための入門本で、その意味でわかりやすくよい本と思います。

2022/04/25

[shin]

テキストマイニング寄りのテキスト処理の基本が手際よくまとめられている。適合度検定がテキスト分類の結果の確認に使われるなど、そう言われればそうだよね、というトピックが網羅されていて足場がためによい。

2024/03/20

[笠井康平]

大変参考になりました

2021/01/30