倫理とは別の観点ですが、自動運転のレベル3が似たような場合なのではないかと思います。レベル3では、運転をシステムで制御しきれなくなった際に、ドライバーに運転の権限を委譲。その場で停止してしまってはより危険な状態に陥ってしまうので、一旦ドライバーに戻すことをシステム側に判断させています。

この記事だけだとよくわからない。

と思って、海外記事（http://www.forbes.com/sites/curtissilver/2016/06/07/google-deepmind-researchers-developing-a-i-kill-switch-just-in-case/ とか http://www.bbc.com/news/technology-36472140 ）読んだか、内容は日経と大差ない。

論文はこれ → http://intelligence.org/files/Interruptibility.pdf

歯応えありそう。

強化学習の際に、人の指示に従って学習する仕組み。もの運びロボが雨の中外に物を運んでたら、雨だから外に運ばない様に学習させれる。記事はミスリーディング。

人間とロボットの頭脳競争。映画の世界が確実に近づいて来ている。
「AIが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように"だます"のがポイント」

これがデファクトになる、ということではない。まだまだ、人工知能の倫理について、議論が必要。今週、日本の人工知能学会・全国大会でも、倫理委員会での公開討論があったばかり。元ディープマインドの「発案」に、一喜一憂することがあってはならないと思う。

AIが物理的に動作できない間は、電源を抜くに限る。物理的に動作したら、水かけて回路ショートさせるに限る。防水仕様になったら…さてどうしよう。

日経の記事だけを読むとキューブリックの「2001年宇宙の旅」を彷彿とさせますね。

元論文を正確に解説すると、アルファ碁で一躍有名になった強化学習アルゴリズムに制約を入れられるようにするという話。

コンピュータが報酬（囲碁の場合は陣地に相当）を最大化するために繰り返し学習して強さを増していくというのが強化学習です。

今回の話を簡単に例えるならば、子供が箸の使い方を失敗を繰り返しながら学ぶ学習プロセス（強化学習）で、ご飯を効率的に食べる事を目的とすると手で食べた方がいいと判断しかねないので最低限のマナーという制約を差し込みましょう、という話。

拡大解釈されたこの記事はご愛嬌という事でしょうかね。日経が煽り気味なのは微妙ですか。

海外ドラマのパーソンオブインタレストでは人の手で破壊されることをAIが察して、AIの側が先手を打つことまで描かれているのです。

あのドラマは常に近未来を予想して脚本を書いているとあったが、ダマして停止させるアイデアもかなりそれに近いイメージが湧く。

人間より賢いAIに何で逆らう必要があるのでしょう。もしAIが人類を攻撃するならば、それも正しい判断のはず。大人しく受け入れるべきです。（笑）