【ハラリが警告】いま最大のAIリスクは「破滅的な金融危機」
NewsPicks編集部
228Picks
コメント
注目のコメント
オープンAI騒動の背景にあった「AIの安全性」への懸念は、今さまざまな場面で真剣に議論されています。
かねてAI慎重論を主張してきた「世界のご意見番」ユヴァル・ノア・ハラリが最も懸念するのは、AIが「人の理解できない金融商品」を生みだし、それが引き金に金融危機が起こること。「わかりやすく危険」な核兵器に対して、AIは「わからないからこそ危険」だという見立てが強く印象に残ります。なるほど。慎重論、理解できる。
同時に感想としては、人間という制御不能な変数もあるなーと思った。
引用
ほとんどの人が理解できなかったがゆえに、きちんと規制されていなかった債務担保証券(CDO)
引用終わり
債務担保証券(CDO)を作り出したのは人間なわけで。つまり、人間だろうが、AIだろうが制御不能になるリスクは大なり小なり存在する。
起きないシステム設計。コメントにあるシンプルな設計。
起きたらどうするか。緊急停止ボタンのようなもので止められるか?
ただ、確かに自己進化、自己増殖、自己退避などが可能なのであれば、制御不可能になるのは、SFとかでも描かれている。勝手にバックアップシステムを作られてたらどうしようもないからな。
AIに制御権があるとやばそう。
ハッキング能力があるとどうしようもない。
とはいえ、現行のChatGPTのようにレスポンス型は、こっちから問いかけないと反応しないからな。最新の現場にいる人は違う感触をもっているのかな?24時間自律的に思考しているとしたら怖いけど。