ＢＥＲＴによる自然言語処理入門―Ｔｒａｎｓｆｏｒｍｅｒｓを使った実践プログラミング

近江 崇宏/金田 健太郎/森長 誠/江間 見亜利【共著】/ストックマーク【編】

オーム社（2021/06発売）

• サイズ B5判／ページ数 188p／高さ 24cm
• 商品コード 9784274227264
• NDC分類 007.63
• Cコード C3055

出版社内容情報

自然言語処理の標準モデル、BERTを使いこなせるようになる！
BERTはGoogleが2018年末に発表した自然言語処理モデルです。「文脈」を考慮した処理が特徴的であり、言語理解を評価する11個のタスクについて最高精度を達成し、今や標準的なモデルとしての地位を確立しています。

本書は、自然言語処理の近年における発展に大きな役割を果たし、かつ応用上も有用であるBERTの入門書です。前半で自然言語処理や機械学習について概説したのち、BERTによって実際にさまざまなタスクを解いていきます。具体的には、文章分類・固有表現抽出・文章校正・類似文章検索・データの可視化を扱います。データセットの処理から、ファインチューニング（BERTを特定の言語タスクに特化させるための学習）、性能の評価までの一連の流れを体験することで、BERTを自分で使えるようになることを目標とします。

なお、BERTで処理を行うためのライブラリとして、深層学習の言語モデルを扱ううえでよく使用されるTransformersを、学習や性能評価を効率的に行うためのライブラリとしてPyTorch Lightningを用います。本書ではTransformersやPyTorch Lightningを用いたことがない読者を想定して、その使い方を一から体系的かつ丁寧に解説します。

▼本書の環境
言語：Python
深層学習フレームワーク：PyTorch
ライブラリ：Transformers

内容説明

ＢＥＲＴを知る・動かす・使いこなす。さまざまなサービスに応用可能なＢＥＲＴでの言語タスク解決法を、現役ＮＬＰ技術者が解説。データセットの処理→ファインチューニング→性能評価までの一連の流れを体験し、ＢＥＲＴを使いこなす力を手に入れよう。

目次

はじめに
ニューラルネットワークを用いた自然言語処理
ＢＥＲＴ
Ｈｕｇｇｉｎｇｆａｃｅ　Ｔｒａｎｓｆｏｒｍｅｒｓ
文章の穴埋め
文章分類
マルチラベル文章分類
固有表現抽出
文章校正
文章ベクトルを用いたデータの可視化と類似文章検索
付録Ａ　ニューラルネットワークの基礎
付録Ｂ　Ｃｏｌａｂｏｒａｔｏｒｙの使い方

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[ぶう]

BERTの使い方説明に特化した本。BERTを使ってのタスク実装方法の紹介が200ページ程にコンパクトにまとまっている。逆に言うと必要最低限の説明しかなく、自然言語処理初学者であれば（機械学習初心者であれば尚更）、本書だけではまず理解できないと思われる。技術書でこの薄さではなかなか十分な解説は難しいであろう。ある程度自然言語処理を知っている、若しくはBERTに絞って情報を得たい人には良いかも。BERTに特化した本は少ないので、そういう意味では価値はある。ザラザラとした本の質感が和紙っぽくて高級感あり。

2022/12/16

[オザマチ]

qiitaの記事だけでは心もとないので流し読み。ニューラルネットや自然言語の基礎的な本を読んだ後なので、特に難しく感じる点は無かった。

2022/10/26

[yyhhyy]

BERTを動かしてみようという概略を掴める本。日本語情報が少ないので触ってみたいという人は良い

2021/09/05

[kk]

Pythonをよく知っている人には読みやすいのでは。既存のメソッド等を駆使してNLPのタスクを解くやり方が前処理を含めて詳細に書かれており、便利。文書分類、マルチラベル文書分類、固有表現抽出、日本語校正タスクなど。BERTの説明は意外に本格的ですが、知識なしで読んで理解できるかは分かりません。カスタマイズするならPytorch知識が必要。「素性」が「特徴量」、「文書分類」が「文章分類」などNLPerなら使わないかなという用語を使われていますが、一般人用にあえてそういう用語になっているものと思われます。

2021/09/07

[smatsu]

老舗のオーム社だけあって手堅い出来の良書です。2021年10月の出版なのでまだChatGPT登場前のNLP周辺事情を踏まえた内容になっています。NLPの歴史をざっとおさらいした上でBERTのアーキテクチャを解説、Google ColabとHuggingface Transformers、文章の分類、マルチラベリング、固有表現抽出、文章校正、文章校正、類似文章検索などの実装レベルの説明。ある程度わかっている人向けの内容になっていますので機械学習初心者勢はまずDLの基礎を勉強されてから読むのが良いと思います。

2023/10/18