2023/7/22

【ミニ教養】ChatGPTが突如「バカ」になった理由

森川 潤

NewsPicks NY支局長

このコラムは、世界のビジネス、テクノロジーのコンテキストを学びつつ、ついでに英単語も一つ覚えられるお得な連載です。

INDEX

• 最強AIが突如「怠け者」に
• スタンフォードが「証拠論文」
• 人間のせいで「バカ」になった?
• 深まる謎。OpenAIも「方針転換」

最強AIが突如「怠け者」に

この数週間、生成AI周辺は一つの話題でもちきりだ。

それは「GPT-4がバカになっているのではないか?」という問題である。

GPT-4とはChatGPTの裏で走る最新モデルであり、3月の発表時には、あらゆる難関試験をクリアする抜群の賢さが話題をさらったAIだ。

そんな最強AIに何が起きているのか。

色々議論や論文を見ていると、とても興味深いことが起きてそうなのだけれど、わからないことも多いので、まずは時系列を追いながら見ていきたい。

まず、最初に異変に気づいたのは、ユーザーたちだった。

GPT4's output has changed recently.

It generates faster, but the quality seems worse.

Perhaps OpenAI is trying to save costs.

Has anyone else noticed this?

— Peter Yang (@petergyang) May 21, 2023

「GPT-4のアウトプットが最近変わりました」

「生成は速くなったけれど、クオリティは悪くなったように感じます。おそらくOpenAIはコストを節約しようとしているのかもしれない。これに気づいている人はいますか？」

コメント

注目のコメント

• 髙橋 宏瑞

  順天堂大学医学部総合診療科 准教授

  ・2023年07月22日

  変化には気づきませんでしたが、数学は苦手なのかと感じていました。桁数が大きい掛け算をやらせたら、綺麗に桁数を間違えていたことがあります。
  
  生成AIの性能を何を軸に評価するのか決まっているのでしょうか？素数の正答率が落ちたからと言って、生成AIの性能全てが落ちたことにはならない様に思います。
  
  今のところ、生成AIは正しい答えを導き出す様な使い方には向いておらず、知識を問う場合には、専門的な知識を持つ人が、その領域において自分の引き出しをスッと引き出してもらうために使うレベルにしておいた方が良いと思っています。
• 森川 潤

  NewsPicks NY支局長

  ・2023年07月22日

  「AIがバカになる?」
  
  指数関数成長を続けるはずのでAIで、そんなことがあるのか?かと思ってしまいそうですが、この数週間、AIコミュニティで超話題のこのテーマを取り上げてみました。
  
  今週、スタンフォードから論文も出たことで、議論が活発化しているのですが、GPT-4の「挙動」が変わったのは間違いなく、その理由まで掘り下げて行くと、「人間から学習するAIの限界（?）」という深淵なテーマにも行き当たりそうで、とても興味深いです。
  
  みなさんは使っていて気づいたことはありますか?
• 山崎 俊彦

  東京大学 大学院情報理工学系研究科電子情報学専攻　教授

  ・2023年07月22日

  「例えば「17077が素数かどうか?」という問いに対し、3月時点でのGPT-4が97.6%の精度で答えていたのに対し、なんと6月時点の精度は2.4%にまで落ち込んだ、という。」
  
  6月に開催されたCVPRというコンピュータビジョン系の国際会議のプレナリートークで、「AIは一般的に言われているように論理的であり、そして創造性がないのか？むしろ逆ではないか？特に生成AIは創造性が得意で数学などの論理がとても苦手である」という議論がありました。とてもおもしろかったです。
  
  もちろん、これまで解けていた問題が解けなくなったなどの変化はあるにせよ、もともと生成AIの能力とは何なのかを考えるいいきっかけになりました。