序章
本章では大規模言語モデルにより発達したチャットGPTなどのサービスの紹介。そしてこれからどんな汎用サービスが登場するのか。大規模言語モデルにより、生活や社会を良い意味でも悪い意味でも変えうると述べている。大規模言語モデルは、世界中の誰よりも多くの知識を蓄えら今後も急速に進化していくことが確実な人工知能システムであるが、価値観や正義感、身体性をもつことから生じる世界の理解がないことに注意が必要と述べる。本書では大規模言語モデルによる新たな知能との付き合い方を考えていく。
1章 大規模言語モデルはどんなことを可能にするだろうか
この章では現行の大規模言語モデルで可能なことと、将来的に実現できそうなことや今後の関わり方が挙げられている。現在は文章の校正、要約、翻訳やプログラミングのサポート、言語を使った作品を作ったり、ウェブ検索エンジンの上位互換ともなっている。今までのウェブ検索ではユーザーの意図や要望を単語や短文を並べて指示していたが、大規模言語モデルではより自然な対話形式になっている。ウェブ検索サービスの収益モデルは検索連動型の広告であり、何かに困って解決策を探している人、買い物をしようとしている人が対象となる。これらの人がウェブ検索でなく対話サービスを主に使うようになると、大手ウェブ会社は大規模言語モデルの開発に投資し、実用化に向けて準備する必要があると筆者は述べている。また、これまでの機械学習は一般的な知識や法則をうまく活用することが出来ていなかったが、大規模言語モデルはそれを可能にし、演繹的帰納的なアプローチを組み合わせた推論が可能になる。筆者としてはこれらAIと共存しつつも人間がコントロールするものとして考えていくべきだという方向性だ。
2章「巨大なリスクと課題」
ここでは大規模言語モデルが秘める大きな可能性と危険性について述べられている。大規模言語モデルには存在しない情報を作り出してしまう致命的な問題がある。専門用語で幻覚とよばれるが、この幻覚により生成された誤情報が、人間や専門家に本物かどうか区別のつかないほど正確に見えてしまうことがある。複数の記憶が混ざり合い、新しい事実を作り出してしまう。この幻覚の解決策は人と同様の考え方や新たな手法により将来的には解決できるが、現時点では難しい。常にその情報や回答に疑問を持ち、自分で考えることが大切だと筆者は述べている。
第3章「機械はなぜ人のように話せないのか」
ここでは計算機を用いて言語学習を用いることが難しい理由や機械学習を用いた言語処理がどこまで達成できたのか述べられている。人を人たらしめているのは言語であるが、われわれ自身、言語の獲得や運用の仕方を理解できていないために、それを計算機に実現させることは難しいし、機械学習も同様であると筆者は述べている。多くの人は知能は大部分が意識上で制御され説明できると考えている。しかし、その大部分は無意識下で制御されている。これをハンガリー出身の科学者マイケル・ポランニーは「我々は語れる以上のことを知っている」と表現しており、明示できない暗黙知が存在することはポランニーのパラドックスと呼ばれている。まずは人間の言語の獲得方法や運用方法を理解すべきだと筆者は述べている。
第4章「シャノンの情報理論から大規模言語モデル登場前夜まで」
ここでは大規模言語モデルが登場するまでの発展の過程を順に紹介している。1948年の情報理論の発見から2018年頃の大規模言語モデル登場前まで。20世紀を代表する科学者クロード・シャノンは情報を数学的な枠組みでとらえ、計算機で制御できる方法を確立した。言葉の意味を無くし、その事象が起こるであろう確率のみで情報量を定義する大胆な抽象化を行なった。例えば「北海道で雪が降った」はありふれているので情報量は小さいが、「沖縄で雪が降った」は珍しいので情報量は大きい。情報量とそれを基盤に構築された情報理論により、情報を数学的枠組みで扱えるようになり、現在目にする計算機や通信技術が登場するまでになった。
第5章「大規模言語モデルの登場」
ここでは大規模言語モデルの仕組みと今後の進展について説明されている。大規模言語モデルは自己学習ができる。インターネットや書籍にいくらでも言語や画像がありそれを訓練データとして学習することで様々なスキルを獲得できる。2020年1月にジョンズ・ホプキンズ大学とオープンAIの研究者たちは大規模言語モデルには言語を蓄える際の「べき乗則」があることを発見した。新たな言語や情報を取り入れれば入れるほど言語モデルの性能は改善されるというものだ。これにより投資対効果が前もって予測できることや大きなモデルほど汎化能力が向上し、学習効率が改善することがわかった。そのため、MicrosoftやGoogleは莫大なパラメータ数や訓練データ量を利用し、性能を上げている。
第6章「大規模言語モデルはどのように動いているのか」
ここでは具体的に大規模言語モデルのシステムが具体的にどのように実現されているか説明されている。これはニューラルネットワークと呼ばれるモデルを利用して次にくる単語を予測している。人間の脳内のようにニューロンはシナプスで繋がった他のニューロンから情報を受け取る。ここではシステム内で用いられる誤差逆伝播法と注意機構という仕組みが取り上げられている。誤差逆伝播法はネットワークの予測と正解との誤差がニューラルネットワークの伝播と逆方向に流れる仕組みのこと。これにより各パラメータをどのように調整すれば最終的な予測結果が当たるようになるかを正確に求められるようになる。注意機構はデータの流れ方の動的な制御を実現する仕組みの一つ。例えば「足元に注意」の看板を目にすると、普段は気にならない足元からの接触感覚などに注目し、目を向ける。同様に注意機構は特定の情報に集中する仕組みを実現する。
終章「人は人以外の知能とどのように付き合うのか」
これまでにも人は人の能力をある面では越える様々な道具を使いこなしてきた。AIは間違いもするし、考え方も異なるちょっと変わった人として付き合うのはどうであるか。人間とAIが共存し、互いに学び合い、新たな世界を築くことが重要であると筆者は述べている。
ここまで大規模言語モデルが広まった理由や今後どういったアイデアが生まれてくるのかを学んだ。チャットGPTに経験を積ませたり、人間の性格を記憶させることで性能も上がっており、ニューラルネットワークの精度も上がれば人間と同じ感性をもったAIが生まれてくると思う。書評ではメタバースや大規模言語モデルを取り上げてきた。卒論では最新のAIに関連する技術とそれが日常生活に及ぼす影響を取り上げたい。
「大規模言語モデルは新たな知能か」Chat GPTが変えた世界
著 岡野原大輔