作ってわかる！自然言語処理AI - BERT・GPT２・NLPプログラミング入門

著者名：坂本俊之

シーアンドアール研究所（2022/01発売）

• ISBN：9784863543706

内容説明

最新の自然言語処理(NLP)では、Transformerという種類のニューラルネットワークが使われるようになりました。
TransformerはBERTやGPT2などのAIで採用され、NLP技術にブレークスルーをもたらしましたが、その特徴は、高い性能とさまざまな用途に使える汎用性の高さにあります。
本書では、Transformerの構造を理解するためにBERTとGPT2を一から実装し、またNLPプログラムを作成するために必要となる、Transformerを拡張して応用AIを作成する方法を紹介します。
Transformerの実装では、Transformerの中心となるSelf-Attention層の作成やテキストのエンコード方法など、最も基礎的な部分から、Pythonのコードをもとに解説をしています。
また、学習では、事前学習と特定のタスクに向けたファインチューニングという、Transformerに特徴的な2段階のステップを、両方とも行います。
ニューラルネットワークの実装は、TensorFlow 2を利用します。

目次

CHAPTER 01　Transformerとは
CHAPTER 02　自然言語処理の前準備
CHAPTER 03　Self-Attentionと学習の準備
CHAPTER 04　Transformerの実装
CHAPTER 05　BERT
CHAPTER 06　BERTによるテキスト分類
CHAPTER 07　文章の抽出
CHAPTER 08　GPT2
CHAPTER 09　抽象型文章要約

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[多分マグマグ]

自然言語処理について、文章要約にも、抽出型文章生成と抽象型文章生成があると分かった。難しい言葉ばかりであるが、ほんの少しでも理解できると楽しい。

2023/07/18

[smatsu]

ある程度勉強して大分わかって来たと思ったので改めて読んでみたが、やっぱりこれ何言ってるかわからない…こういう場合は、自分がまだ全然未熟でこの本を読める段階に来ていないか、この本の説明が下手なのかどちらかなのだが…本当にすみませんが後者のような気がしてきました。なぜなら他の本での説明だと数式も含めて結構わかった個所（例えばAttentionについて）でも、この本での説明だと何を言ってるのかよくわからない箇所が多いから。決定的に自分とは相性悪そうな本なので、当面お蔵入りとします。

2023/03/12

[takao]

ふむ

2024/10/11

[smatsu]

お蔵入りと書いたけれどもMHAについて改めて勉強する中でその辺りの理論的な説明をしている第3章を中心に読み直した。結論から言うとやっぱりこの本の説明はダメだと思う。 例えば「チャンネル」とか「チャンネル方向」とか言う言葉を何の定義も説明もせずにいきなり使いだすのは、読者からしたら全くわけがわからないと思います。 他の本で勉強した後なのでなんとなく何を言っているかは全体的にはわかるようになってきましたが、かなり説明が残念な本であり入門者にはお勧めできないという本書への評価は変わらない。辛口ですみません。

2023/10/18