ChatGPTにも使われる機械学習モデル「Transformer」が自然な文章を生成する仕組みとは？

コメント

注目のコメント

• 和田 崇

  ㍿Laboro.AI 執行役員／マーケティング部長

  ・2023年04月23日

  話題のChatGPTがなぜ違和感のない文章を生成できるのか。その基礎となっている技術の流れがわかりやすく解説されています。
  
  肝はTransformerという機構にあるAttentionという仕組みで、言ってみれば「注目箇所の指示マシン」のようなものです。（ちなみにこれが発表された論文のタイトルは、"Attention is All You Need"で、それほどの重要性と注目度がありました）
  
  とはいえ、それでもやや難しく感じられるところもあるので、誤解・飛躍を覚悟の上で、さらに簡略化してしまうと、
  
  ・様々な単語や文法を数値化＆座標化
  ・座標を元に次に来るだろう近しい単語を予測
  ・文全体の注目箇所を加味した上で調整して生成
  
  ということを繰り返すのが、基本的な構造です。
  
  こう見るとわかりますが、ChatGPTがやっていることは、非常に高い精度で「その可能性が高い文章を生成するための計算」をやっており、その内容や意味を理解しているわけではありません。
  
  また前の単語をどれくらい加味できるかという「トークン長」≒単語数は、GPT-3で約4千、GPT-4で約3万と言われています。
  
  「人の仕事を奪う」「人を支配するようになる」「禁止すべき」などの極端な話もありますが、実際には言葉の意味を理解しているわけでもなく、過去の記憶保持にも限界を持っているものです。
  
  この限界を踏まえた上で、「どう役立てられるか」という視点に立った、冷静な検討を進める必要があると思います。