【ミニ教養】ChatGPTが突如「バカ」になった理由
コメント
選択しているユーザー
この内容はとても興味深いですね。
利用が広がって一般化するにつれて、ChatGPTにインプットされる内容が陳腐化されていくのは確かに想像できます。この記事で触れている「能力」は変わらないけど「挙動」は変わったかもしれないというのが本当であれば、それはなんとなく納得できるところです。
学習が進むというのは、何も洗練されるだけではなくて余計に分散してしまったりスコープのずれたところに行ってしまう可能性もあるんですかね（才能ある野球選手が何人かのコーチのそれぞれ違うアドバイスに耳を傾けすぎてスランプになるような）。特にヘビーユーザーがAPI利用の方にシフトしたとなるとそのプロンプトは学習されないし、一方の遅れて乗ってきた（若干リテラシーレベルは落ちる）ユーザーがUIで入力するプロンプトレベルで学習が進んでいったりするとこうなってくるとか、、、？
日本だとそもそもまだ一般化されるほどユーザーはいないかもしれませんが、多くの人が利用する環境になっている場合はどうなるのか気になります。
注目のコメント
変化には気づきませんでしたが、数学は苦手なのかと感じていました。桁数が大きい掛け算をやらせたら、綺麗に桁数を間違えていたことがあります。
生成AIの性能を何を軸に評価するのか決まっているのでしょうか？素数の正答率が落ちたからと言って、生成AIの性能全てが落ちたことにはならない様に思います。
今のところ、生成AIは正しい答えを導き出す様な使い方には向いておらず、知識を問う場合には、専門的な知識を持つ人が、その領域において自分の引き出しをスッと引き出してもらうために使うレベルにしておいた方が良いと思っています。「AIがバカになる?」
指数関数成長を続けるはずのでAIで、そんなことがあるのか?かと思ってしまいそうですが、この数週間、AIコミュニティで超話題のこのテーマを取り上げてみました。
今週、スタンフォードから論文も出たことで、議論が活発化しているのですが、GPT-4の「挙動」が変わったのは間違いなく、その理由まで掘り下げて行くと、「人間から学習するAIの限界（?）」という深淵なテーマにも行き当たりそうで、とても興味深いです。
みなさんは使っていて気づいたことはありますか?「例えば「17077が素数かどうか?」という問いに対し、3月時点でのGPT-4が97.6%の精度で答えていたのに対し、なんと6月時点の精度は2.4%にまで落ち込んだ、という。」
6月に開催されたCVPRというコンピュータビジョン系の国際会議のプレナリートークで、「AIは一般的に言われているように論理的であり、そして創造性がないのか？むしろ逆ではないか？特に生成AIは創造性が得意で数学などの論理がとても苦手である」という議論がありました。とてもおもしろかったです。
もちろん、これまで解けていた問題が解けなくなったなどの変化はあるにせよ、もともと生成AIの能力とは何なのかを考えるいいきっかけになりました。
