2023/11/22

【ハラリが警告】いま最大のAIリスクは「破滅的な金融危機」

The Guardian

NewsPicksでは週7日毎日、世界のトレンドの背景を追う連載シリーズを開始しています。水曜日は「Wise Life（かしこく生きる）」です。

INDEX

• AIと核兵器の決定的な違い
• 問題をすべて予見することは不可能
• 「理解できない金融商品」の怖さ
• 規制の整備より「安全機関」が必要

AIと核兵器の決定的な違い

人工知能（AI）は「破滅的」な結果を伴う金融危機を引き起こす恐れがある──。イスラエルの歴史学者ユヴァル・ノア・ハラリがそんな警告を発している。

AIモデルの安全性テストは、強力なシステムが引き起こしうる問題のすべてを予見しているわけではないと、ハラリは懸念を示す。

核兵器とは異なり、AI危機には誰もが理解できる「単一の危険なシナリオ」は存在しないというのだ。

「AIの場合、危険なシナリオがたくさんある。その一つひとつが起こる可能性は比較的小さいが、それが合わさると.....文明の存続を脅かすものになる」

ベストセラー『サピエンス全史　文明の構造と人類の幸福』（邦訳・河出書房）の著者であるハラリは、AI開発に声高に懸念を表明してきた知識人の1人だ。

6月にスイスのジュネーブで開催されたAIサミット「AI  For Good」に登壇するハラリ（Johannes Simon/Getty Images）

コメント

注目のコメント

• 藤田 美菜子

  NewsPicks 副編集長

  ・2023年11月22日

  オープンAI騒動の背景にあった「AIの安全性」への懸念は、今さまざまな場面で真剣に議論されています。
  
  かねてAI慎重論を主張してきた「世界のご意見番」ユヴァル・ノア・ハラリが最も懸念するのは、AIが「人の理解できない金融商品」を生みだし、それが引き金に金融危機が起こること。「わかりやすく危険」な核兵器に対して、AIは「わからないからこそ危険」だという見立てが強く印象に残ります。
• 佐藤 元則

  NCB Lab. 代表

  ・2023年11月22日

  金融システムを管理する当局としては、AIによるブラックボックス化は容認しないでしょう。ただ、新しい技術に当局の能力が追いつくかどうか、それが心配です。
• 黒澤 永雅

  商社 会社員

  ・2023年11月22日

  なるほど。慎重論、理解できる。
  
  同時に感想としては、人間という制御不能な変数もあるなーと思った。
  
  引用
  ほとんどの人が理解できなかったがゆえに、きちんと規制されていなかった債務担保証券（CDO）
  引用終わり
  
  債務担保証券（CDO）を作り出したのは人間なわけで。つまり、人間だろうが、AIだろうが制御不能になるリスクは大なり小なり存在する。
  
  起きないシステム設計。コメントにあるシンプルな設計。
  起きたらどうするか。緊急停止ボタンのようなもので止められるか？
  
  ただ、確かに自己進化、自己増殖、自己退避などが可能なのであれば、制御不可能になるのは、SFとかでも描かれている。勝手にバックアップシステムを作られてたらどうしようもないからな。
  
  AIに制御権があるとやばそう。
  ハッキング能力があるとどうしようもない。
  とはいえ、現行のChatGPTのようにレスポンス型は、こっちから問いかけないと反応しないからな。最新の現場にいる人は違う感触をもっているのかな？24時間自律的に思考しているとしたら怖いけど。