機械学習エンジニアのためのＴｒａｎｓｆｏｒｍｅｒｓ―最先端の自然言語処理ライブラリによるモデル開発

タンスタール，ルイス〈Ｔｕｎｓｔａｌｌ，Ｌｅｗｉｓ〉/フォン・ウェラ，レアンドロ〈ｖｏｎ Ｗｅｒｒａ，Ｌｅａｎｄｒｏ〉/ウルフ，トーマス【著】〈Ｗｏｌｆ，Ｔｈｏｍａｓ〉/中山 光樹【訳】

オライリー・ジャパン（2022/08発売）

• サイズ B5判／ページ数 420p／高さ 24cm
• 商品コード 9784873119953
• NDC分類 007.1
• Cコード C3055

出版社内容情報

Hugging Faceの開発者による解説書！
「Hugging Face Transformers」を使った自然言語処理の解説書。2017年の登場以来、Transformerと呼ばれるアーキテクチャを使った大規模なモデルが急速に普及しています。本書では、Hugging Faceの開発者らが、「Hugging Face Transformers」を使って、これらの大規模モデルを学習しスケールする方法をわかりやすく紹介します。テキスト分類、固有表現認識、テキスト生成、要約、質問応答といったタスクだけでなく、蒸留、量子化、枝刈り、ONNX Runtimeといったモデルの高速化技術、ラベル付きデータが少ないときに使えるゼロショット学習や少数事例学習、その他、多言語転移やドメイン適応といった類書では扱っていない技術についても解説しています。

内容説明

「Ｈｕｇｇｉｎｇ　Ｆａｃｅ　Ｔｒａｎｓｆｏｒｍｅｒｓ」を使った自然言語処理の解説書。２０１７年の登場以来、Ｔｒａｎｓｆｏｒｍｅｒと呼ばれるアーキテクチャを使った大規模なモデルが急速に普及しています。本書では、Ｈｕｇｇｉｎｇ　Ｆａｃｅの開発者らが、「Ｈｕｇｇｉｎｇ　Ｆａｃｅ　Ｔｒａｎｓｆｏｒｍｅｒｓ」を使って、これらの大規模モデルを学習しスケールする方法をわかりやすく紹介します。テキスト分類、固有表現認識、テキスト生成、要約、質問応答といったタスクだけでなく、蒸留、量子化、枝刈り、ＯＮＮＸ　Ｒｕｎｔｉｍｅといったモデルの高速化技術、ラベル付きデータが少ないときに使えるゼロショット学習や少数事例学習、その他、多言語転移やドメイン適応といった類書では扱っていない技術についても解説しています。

目次

１章　入門Ｔｒａｎｓｆｏｒｍｅｒｓ
２章　テキスト分類
３章　Ｔｒａｎｓｆｏｒｍｅｒの詳細
４章　多言語の固有表現認識
５章　テキスト生成
６章　要約
７章　質問応答
８章　Ｔｒａｎｓｆｏｒｍｅｒｓの高速化
９章　ラベルのないまたは少ない状況への対応方法
１０章　Ｔｒａｎｓｆｏｒｍｅｒをゼロから学習する
１１章　Ｔｒａｎｓｆｏｒｍｅｒの未来

著者等紹介

タンスタール，ルイス［タンスタール，ルイス］ ［Ｔｕｎｓｔａｌｌ，Ｌｅｗｉｓ］
Ｈｕｇｇｉｎｇ　Ｆａｃｅの機械学習エンジニア。ＮＬＰ、トポロジカルデータ解析、時系列などの領域で、スタートアップや企業向けの機械学習アプリケーションを構築してきた経験がある。理論物理学の博士号を持ち、オーストラリア、アメリカ、スイスで研究職を歴任。現在は、自然言語処理コミュニティのためのツールを開発し、その効果的な使い方を教えることに注力している

フォン・ウェラ，レアンドロ［フォンウェラ，レアンドロ］ ［ｖｏｎ　Ｗｅｒｒａ，Ｌｅａｎｄｒｏ］
Ｈｕｇｇｉｎｇ　Ｆａｃｅのオープンソースチームの機械学習エンジニア。ＮＬＰプロジェクトを本番環境へ移行した経験が数年あり、機械学習スタック全体に取り組んできた。Ｔｒａｎｓｆｏｒｍｅｒと強化学習を組み合わせたＴＲＬというＰｙｔｈｏｎライブラリの作者でもある

ウルフ，トーマス［ウルフ，トーマス］ ［Ｗｏｌｆ，Ｔｈｏｍａｓ］
Ｈｕｇｇｉｎｇ　Ｆａｃｅの最高科学責任者兼共同設立者。彼のチームは、ＮＬＰ研究を前に進め、民主化することを使命としている。Ｈｕｇｇｉｎｇ　Ｆａｃｅの共同設立に先立ち、物理学の博士号を取得し、その後法律の学位も取得した。物理学研究者、欧州特許弁護士としての経験がある

中山光樹［ナカヤマヒロキ］
ＯＳＳデベロッパー。専門分野は機械学習と自然言語処理（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[ばーん]

「機械学習エンジニアのための Transformers」、ようやく読み切った。すべてのコードを試しながら読んでいたので 4ヶ月かかったけど、学びは非常に多かった。Transformer の基礎、文章要約・生成、haystack ベースの RAG、gpt2（111.0M params）のスクラッチ学習まで経験できて、お腹いっぱい大満足。

2024/05/09

[かたひろ]

図書館にあったから借りて読んだ(動かしてみた)けど、個人が趣味でやる範囲を超えていると感じた。 我が3060マシンで寝る前に動かして起きて処理が終わってないのを見て限界を感じた。 なので10章はやりませんでした。

2024/01/21

[dahatake]

Hugging Face の Transforms パッケージの使い方。その過程を通じて Transformer を知ろうという試み。 ほかの Blog Post などにもっと良い Transformer の説明はある。そして、残念だが、ネットワークを組んだりする方以外には、教養程度で良い知識になったとこの本の内容であらためて思う。それだけ LLM というカテゴリが出来た進化はすごい。

2023/07/25

[yorip]

コラム的な記事が章と章の合間じゃなくて章の中にあるから邪魔な気がする

2023/01/20