岩波科学ライブラリー 大規模言語モデルは新たな知能か - ＣｈａｔＧＰＴが変えた世界

著者名：岡野原大輔

岩波書店（2023/07発売）

• ISBN：9784000297196

内容説明

対話型サービスＣｈａｔＧＰＴは驚きをもって迎えられ，ＩＴ企業間で類似サービスをめぐる激しい開発競争が起こりつつある．それらを支える大規模言語モデルとはどのような仕組みなのか．何が可能となり，どんな影響が考えられるのか．人の言語獲得の謎も解き明かすのか．新たな知能の正負両面をみつめ，今後の付き合い方を考える．

目次

序章　チャットGPTがもたらした衝撃
登場から二カ月で月間一億人が利用するサービスに
大規模言語モデルはこれまでにない汎用サービスを実現する
生活や社会を変えうる
社会への脅威となりうる
言語獲得の謎は解けるのか
新しい知能との付き合い方
1　大規模言語モデルはどんなことを可能にするだろうか
文書の校正・要約・翻訳
プログラミングのサポート
ウェブ検索エンジンの上位互換
言語を使った作品を作る
言語以外を使った作品を作る
カウンセリング，コーチング
学習のサポート
高度な専門性が必要な仕事のサポート
人にやさしいインターフェース
科学研究の加速
演繹的なアプローチと帰納的なアプローチの融合
2　巨大なリスクと課題
情報の信憑性　幻覚
幻覚の解決は簡単ではない
誤った情報の拡散
プライベートな領域に入り込む
価値観や偏見の扱い方
本人であることの証明が難しくなる
変わる仕事，残る仕事
AIの補助で仕事の構造が変わっていく
大規模言語モデルの開発が一部に独占される
3　機械はなぜ人のように話せないのか
人は言語をどのように獲得し，運用しているのか
私たちは言語をいつのまにか獲得している
自然言語処理と機械学習
これまでの機械学習では言語獲得・運用は難しかった
4　シャノンの情報理論から大規模言語モデル登場前夜まで
意味をなくし確率を使って情報を表わす　革命的だったシャノンの情報理論
どの文がもっともらしいか　言語モデル
言語モデルは言語を生成することができる
消された単語を予測することで言語理解の能力を獲得する
多様な訓練データをタダでいくらでも入手できる自己教師あり学習
問題の背後にある法則やルールを理解できるか　汎化
実験結果は言語モデルが意味や構造を理解していることを示唆する
言語モデルは文の意味を理解し，かつ文も生成できる
《コラム》圧縮器としての言語モデル
データを生成できるモデルの発展
《コラム》人も言語モデルから学習しているのか
5　大規模言語モデルの登場
限界への挑戦
言語モデルの「べき乗則」の発見
データと計算力があれば知能が獲得できる
モデルを大きくすると問題が急に解けるようになる
《コラム》普遍文法と現在の大規模言語モデル
大規模化はどこまで進むのか
《コラム》人の脳とAI
プロンプトで変わるAIの使い方
AIを使った開発は誰でもできるようになる
人によるフィードバックを与える
6　大規模言語モデルはどのように動いているのか
ニューラルネットワークの進化
ニューラルネットワークの学習　誤差逆伝播法
汎化　未知のデータの予測へ
ディープラーニングの登場
《コラム》アレックスネット開発の裏側
なぜディープラーニングはここまで成功したのか
《コラム》モデルサイズと汎化の謎
データの流れ方を学習し，短期記憶を実現する注意機構
大規模言語モデルを実現したトランスフォーマー
指示を受け，その場で適応していく本文中学習
人間に寄り添う生成のための目標駆動学習
チャットGPTでの矯正法
終章　人は人以外の知能とどのように付き合うのか
道具としての大規模言語モデル
間違いもするし，自分と考え方も違う人のように付き合う
人はこうしたツールを飼いならせるのか
コンピュータ将棋，囲碁のケース
人間自身の理解へ
あとがき

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

[チャーリブ]

急速に私たちの生活に入り込んできたチャットGPTを支える大規模言語モデル（LLM）についての概説書。チャットGPTで分かるように、LLMはとても優秀ですが、ありもしない情報を捏造する（「幻覚」と呼ばれています）という困った一面があります。また将来的に人間に対して有害な存在とならないかという懸念もあります。文の意味や構造も理解し、文を生成することもできるレベルになっているLLMは、限りなく知能に近づいているのは確か。LLMは遠からず私たちの生活の一部となるでしょうが、大丈夫でしょうか？○

2023/10/24

[33 kouch]

人工知能はあくまで単語の予測の繰返しであり、理解ではない。となると、やはり人間とAIには理解や認知というところでは差がある。、と思ったが、では理解や認知って改めてなんだろう？とも思ってしまう。禅問答みたいに。いずれせよAIは人間から何か奪うものでなく、人間がより便利になるためにあるツール。チェスで人間に勝った人工知能の話が印象的。それによりチェスの技術はより磨かれ、人々はこの競技に注目するようにもなった。人間は勝つことでなく、強さを追求するその戦いに憧れている。人工知能は間違いなくチェス文化を前進させた。

2024/02/09

[塩崎ツトム]

「本文中学習」だの「自己注意機構」だのの説明を読むと、人工知能のやっていることはかーなり人間の頭ん中と近いという印象を受ける。

2023/11/07

[テイネハイランド]

邦訳本「ChatGPTの頭の中」の読メレビューで入門書としては本書のほうがわかりやすいとあったので読みました。別に岡野原さんの本「ディープラーニングを支える技術 」も持っているのですが、本書は更に一般向きに大規模言語モデルを用いたAI(chatGPTなど)について解説した本です。日本を代表するベンチャー企業の幹部による本だけあって対象レベルに合わせたプレゼンの仕方がうまく、読者にわかった気にさせる能力はとても高いと感じられますが、ディープラーニングの仕組みなどについては別の本で補う必要があると思います。

2024/01/20

[ぶう]

PFNの岡野原さんの本。話題のchatGPTについて、専門家の立場から様々な解説をしてくれている。chatGPTを使うことで可能になるタスクの解説から始まり、リスクや課題、歴史的な流れや技術背景まで、生成AIを取り巻く全体像を見渡せる構成。また対象となる読者層も専門家や技術者ではなく一般層とのことなので、数式も使わずに分かりやすい解説がなされているところもオススメ。人間は今までも人間の能力を越える道具を使いこなして暮らしを豊かにしてきた。生成AIを使いこなし、更に一段進化した人間の暮らしを見てみたい。

2024/03/25