BERT入門

著者名：佐藤大輔【著者】/和知德磨【著】/湯浅晃【著】/片岡紘平【著】/野村雄司【監修】

リックテレコム（2026/04発売）

• ISBN：9784865943405

内容説明

Attention機構、Transformerアルゴリズム、BERTモデルを徹底解説

●本書の特徴
本書の著者陣は、自然言語処理のビジネス適用に豊富な経験を有しています。特にBERT については、多くのビジネス検証を行い、かつ、独自の応用技術の研究開発も進めている専門家集団です。技術面だけでなく、実務課題の解決に役立つ情報を提供できます。本書ではそうしたプロフェッショナル集団が、Attention 機構・Transformer アルゴリズム・BERT モデルの仕組みの詳解から、現場で使えるコードとノウハウを手引きします。この1冊で、自然言語処理とBERT の基礎を網羅するよう努めましたので、是非とも実践に直結する力を身に付けてください。

目次

■第１章　NLPの基礎知識
1..1　NLPとは？
1.2　機械学習とは？
■第２章NLPの技術解説
2.1　Bang of Words
2.2　ニューラルネット時代の自然言語処理
■第3章　BERTの技術解説
3.1　Attention
3.2　Transformer
3.3　BERT
3.4　BERT以降のモデル
■第4章　BERTの環境構築
4.1　Python
4.2　Colaboratory
4.3　環境構築とデータセットの準備
■第5章　代表タスクを通じて理解する
5.1　BERT の代表的な使われ方
5.2　文書分類タスク
5.3　NER（固有表現抽出）タスク
5.4　質問応答タスク
5.5　単語・文のベクトル化
■第6章　練習問題
6.1　文書分類タスク
6.2　情報抽出タスク
■第7章　ビジネス適用における課題と解決
7.1　データアセスメント
7.2　不均衡データへの対応
7.3　根拠抽出
7.4　ドメイン特化モデル

感想・レビュー

※以下の感想・レビューは、株式会社ドワンゴの提供する「読書メーター」によるものです。

[Tenouji]

最新の言語モデルの内容を知りたくて読んでみた。 AttentionとTransformer、想像していたのと、全然、違ってた。ある意味、シンプルな仕組み。これで、知性のようなものが発現してるのか…本だけでは、理解が及ばなかったのでYouTube動画も参照。

2023/04/26

[yorip]

Colaboratoryをポチポチしてただけなのであまり理解できてない

2023/01/20

[kk]

知っていることが大半なので隙間時間に読んで約二日で読了。コロナ鬱治ってきたな（喜）！青いBERT本とわりと内容がかぶります。一番の違いはこちらはTrainer、あちらはLightningということ。Attentionの説明はこっちのほうが詳しい。マルチラベル文書分類とかをしたければあちら。7章が一番マニアックというか、おそらく著者らが関心があって書いていて楽しかっただろうという部分でした。読んでいて一番楽しかったのもそこ。知らないライブラリを知ることができたのが一番の収穫です。

2023/01/16