「超知能」に備え、チーム編成＝脅威抑止の方法研究―米オープンＡＩ
コメント
選択しているユーザー
もはや止めることはできないのか。
原子爆弾や原発のように、作ってしまったばかっりに、使用方法や制御する力の限界のため、人類を滅亡に導く可能性のある者が、また一つ増えるということか。
京セラ創業者の稲盛和夫さんが言っていた「能力×やる気×考え方」が仕事の結果を決めることになる訳だけど、その中でも最も重要なのが「考え方」だ。
そのニンゲンの「考え方」を超えられるとしたら、人類の存続は限りなく滅亡に向かっていくのではないか。
まるでSF映画のようだけど、今までも「SF映画のようなもの」が次々と現実のものとなっている。「便利さの追求」ではなく「止めること」を知ることはとても重要だ。昔の人も言っている「足るを知る」と。
注目のコメント
リリースされた原文を見ると、明確にAGI（汎用人工知能）を超えた"Superintelligence（タイトルにある「超知能」）"の開発を目指す、その前提においてSuperintelligenceを制御するための"Superalignment"の研究を加速していく。具体的には人間レベルのアラインメントリサーチャーのR&Dに取り組んでいく、とあります。つまりAIを制御するためのAIのR&Dを強化するという内容です。
もちろんSuperinteliigenceがいずれ開発されるという前提には立ちますが、割と怖いことも書いてあるので、GPTを開発したOpenAI自らの現状認識が読み取れます。以下原文から抜粋したdeepL翻訳。
~~~
* 超知能の巨大なパワーは非常に危険でもあり、人類を無力化し、あるいは人類を絶滅させる可能性さえある。
* 現在のところ、潜在的に超知的なAIを操り、コントロールし、その暴走を防ぐ解決策はない。現在のアラインメントは人間がAIを監督する能力に依存している。しかし人間は我々よりはるかに賢いAIシステムを確実に監督することはできないだろう。
https://openai.com/blog/introducing-superalignment超知能は、私たちの生活に想像もできないような大きな変化をもたらす可能性を持っているかと思います。
超知能実現の現実味が増した今、それが人にとって安全で有益となるようにしていかなければならないし、その対策をOpenAI社が率先して行っていくのも、理にかなっているのかなと。
規制面からも、技術面からも、AI・超知能自体が、人に危害を加えないようにしたり、悪用されるリスクを軽減させていく重要性を改めて感じました。これは超知能が出来つつあるというニュースか？と一瞬目を疑いました。
人間の意図から外れて動かないようにする「ＡＩアラインメント（調整）」の話のようです。非倫理的な発話や悪用可能情報の抑制が目的ですね。
アラインメント問題は生成AIが高度化すると、避けて通れない問題です。だからOpenAIの競争力強化と言う意味でも、重点投資する意義が高いでしょう。やはりOpenAIは1歩先んじている感があります。
もっともGPT-4の中に意識の芽生えを見つけた、という話が潜んでいたら、それはそれで興味深いのですが。
