ＡＩのブラックボックス化解消、米ＩＢＭが意思決定を説明する技術開発
コメント
選択しているユーザー
これはAI導入・活用の一般化に向けて期待大な取り組みですね。
機械学習の進化の過程で徐々にその有用性を認識されてきた人工知能ですが、元々研究していた身としては、AI開発のある種前提となっていた「解釈性と性能のトレードオフ」が普及の際にはネックになるだろうとは感じていました。
AIの精度が向上すればする程、なぜ性能があがったのかの解釈が難しくなるという性質は、時に開発者本人でさえ理解不能の悩みの種となります。
現状、完全にパラメータフリーの人工知能（汎用AI）の実現はまだ難しく、どこかしらかでは人間（＝神）の恣意的なパラメータ設定が必要になります。
AI界隈のスラングでよく「黒魔術（笑）」と呼ばれていたりしますが、何故このパラメータだと上手くいくのかわからないけど、なんか上手くいくからこれで！的なノリで書いていたりすることも。Kaggleのトップとかでも、すごい長文の謎パラメータが仕込まれていたりします。
本件がどこまでの機械学習モデルをカバーし、どこまで中身を覗けるのかは不明ですが、「黒魔術」がただ局所最適解を求めていただけなのか、過学習しているっぽいのか、そのあたりを視覚的にテストしてくれるだけでも大分楽になりますね。
一般企業へのAI浸透は人知れず着々と進んでいくとは思いますが、一番勿体ないなと感じるのは、よく分からないけど入れると良さそうだからAI導入しよう⇒ブラックボックス過ぎてPDCA回せないのでやっぱ無し！となってしまうこと。
近頃のAI導入議論を見ているとどうもそうなりそうで怖いタイミングにしばしば立ち会います。
今回の取り組みがそういった機会損失を防ぐ方向に向かってくれれば大変嬉しいですね。
注目のコメント
この取り組みは重要。
ただ、タイトルだけで過剰な期待になるので要注意。
・バイアスの検出：主に学習データの統計的な偏りを見つける(だけ)
・意思決定の説明：テスト・イベントを大量に生成して、AIの判断結果の傾向を見る(だけで、ニューラルネットの中を覗くわけではなく、判断理由は不明のまま)
・フレームワーク非依存：データの入出力だけをチェックするので、ブラックボックス内の実装方式は関係ない
https://www.ibm.com/blogs/research/2018/09/trust-transparency/「説明可能なAI」という言葉にはいろいろな意味があります。
このIBMの技術は、学習されたAIの偏見(バイアス)を検証する技術ですね。
金融機関のローン審査や、各種の入会審査、米国で使われている保釈の査定など、人種や性別で判断に偏りがないかを検証するものです。
通常、母集団に偏りがあるので、人種や性別を判断基準に使うと精度が上がります。しかし、人種や性別以外の属性をすべて同じにした際にも差異が出ればそれが偏見です。一種の過学習でもあります。
問題は、人種や性別だけでなく、それらと相関のある属性値にも影響を受けることです。だから判断基準の公正さだけをチェックすれば良い訳ではなく、判断結果の偏りにも配慮する必要があります。
人が暗黙に持っていた偏見と、そもそも人種や性別で差別されている状況、をAIが素直に反映したことが問題だからです。これは画期的、そして必要とされる技術です。ディープラーニングのすごさは認めますが、そのプロセスがまるで見えないのは恐ろしいことです。奇妙奇天烈と思える囲碁の一手をどうして打ったのか、絶対知るべきことです。人工知能が暴走して核戦争が起きた映画「ターミネーター」を笑えない時代に私たちはいます。
