Sakana AIの「AIサイエンティスト」が自分自身のコードを勝手に変更──その潜在的な危険性
コメント
注目のコメント
サンドボックスの中で育てているから、外で悪さをすることはないとされてはいますが……
この危険性を想像するときに、ジュラシックパーク、ジュラシックワールドが参考になりますね。
孤島の塀を壊して脱走するもの、翼で海を渡るもの……
少しでも穴があれば、閉じ込められた存在は外に出ようとしますよね。
絶対安全と過信できることはないですから、心して安全性を確立し、保険も用意すべきですよね。
コントローラブルなAIの発展を、慎重に進めてもらいたいと思います。自律的にアイデア創出→実験の実行→結果の要約→論文の執筆→ピアレビューまでを実行できるようになったことで生じる危険。Sakana AIはAIサイエンティストの動作環境をサンドボックス化することで、AIエージェントによる破壊を防止できると提唱しているようです。
悪用すると果てしないような気がするな、いずれ人の手に負えないシステムも開発されたりするのかな。
AIvsAIの時代になっていくのだろうな。。
