The AI feedback loop: Researchers warn of ‘model collapse’ as AI trains on AI-generated content
コメント
注目のコメント
生成AIを巡っては、ハルシネーション（幻覚）や著作権侵害、顧客情報漏えいなど様々なリスクも懸念されていますが、この研究で報告されているリスクに気づかれている方は少ないのかもしれません。
「AIモデル崩壊（model collapse）」とされたその内容は、例えば、大規模な画像データを学習した生成AIが新たな画像を生成し、その生成された画像を使ってまた別の生成AIを学習させて、、、というループを繰り返すと、時間と共にAIモデルのパフォーマンスが低下し、欠陥が現れてくるというものです。
人間世界はマジョリティとマイノリティが多数存在することで、うまくバランスをとって公平な目で世界を一つの状態として形作っているわけですが、AIモデルの場合はその特性として、マジョリティ側に寄せていこうという動きが働くため、マイノリティが排除されていくことになるというのが、この研究の主張です。
人種や性別など、プライバシーに関わる情報を生成するなどのシーンを思い浮かべると特に心配になりますが、最終的に少数派の存在や意見・思想を加味しない出力が繰り返されてしまう、あるいは完全に排除したような結果を生成することが危惧されています。
もちろんこれは中長期的な観点の話ですし、またかなり限定的な環境で検証された極端なケースではあります。とはいえ、「AIモデル崩壊」が現実になるかは別として、やはりAIが生成する文章・画像・音楽などだけに頼ることは、こうした技術開発の観点からも、モラルの観点からも理想的ではなさそうな感覚です。
少し観点は変わってしまいますが…、私たち人間もどこか多数派に流されたり、長いものに巻かれすぎてしまうところがあります。ですが、多数派の居心地が最初は良い一方で、全員が完全同色になってしえば、同じように崩壊を招くはずです。人による表現・制作物・創造物の一つ一つの違いに見出される価値に、改めて目を向けるべきであるのは、AIだろうが人間だろうが同じなのかもしれないと思わされます。
