なぜAIの判断に透明性が欠けるのか

人工知能（AI）ソフトウェアは顔を認識し、マンダリン（中国公用語）をスワヒリ語に翻訳することができる。碁やチェス、ポーカーをやらせれば、人間の世界チャンピオンを打ち負かす。とはいえ、自分自身の説明については、必ずしも得意なわけではない。
現在のAIは、データや経験から学習して予測を立てるソフトウェアだ。
コンピュータープログラマーはAIが学習すべきデータを指定し、アルゴリズムと呼ばれる一連の指示を作成する。アルゴリズムはAIがどのように学習すべきかを指示するが、何を学ぶべきか自体については指示しない。
このことがAIに対して、力の多くを与える。つまりAIはデータのなかに、人間が見つけるよりも複雑なものだったり、微妙な差異があったりする「つながり」を発見するのだ。
しかし、複雑だということは、AIがどんな推論を導き出したのであれ、根拠がかなり不透明な場合が多いという意味でもある。そのAIを作った人にとってさえもだ。
こうした透明性の欠如は、AIシステムを売ろうとしているソフトウェアメーカーがビジネスをするうえではマイナスになり得る。人間にとって、自分が理解できないシステムを信頼するのは難しい。そして信頼できなければ、組織はAIソフトウェアに莫大なお金を出すことはない。
これがとくに当てはまるのは、ヘルスケアや金融、法執行機関など誤った助言がより重大な結果につながる分野だ。たとえば、ネットフリックスがコメディ映画『ハングオーバー!!! 最後の反省会』をレコメンドする場合とはわけが違う。
法規制も、各社に対して「説明可能なAI（explainable AI）」を求めるよう働きかけている。アメリカの法律では、保険会社が保険金支払いを拒否したり、同様のカテゴリーに属する人と比べて高い掛け金を請求したりした場合、その根拠を説明できるようにしておかなければならないと定められている。
ヨーロッパでは、2018年5月に施行されたEU一般データ保護規則（GDPR）により、欧州連合（EU）市民にはアルゴリズムの決定で何らかの影響を受けた場合に「人間による再検討を求める権利」が与えられている。
たとえば銀行は融資を断る際、単に「コンピューターが決めたから」と言うことはできない。銀行の従業員が、融資却下の決断を下したマシンのプロセスを見直すか、別に審査を行うことが可能でなければならないのだ。

AI導入に懸念を示す企業幹部の増加

2018年11月までIBMのコグニティブ・ソリューション事業担当バイスプレジデントを務め、現在は調査会社ニールセンの最高経営責任者（CEO）となったデイヴィッド・ケニーによると、IBMが企業5000社を対象にAI導入について調査を行ったところ、導入したいという回答は82％にのぼった。
しかし、そのうちの3分の2は実際に導入することには消極的だった。最大の障壁としては「AIの説明力の欠如」が挙げられたという。
AI内部の仕組みが不明瞭すぎると懸念を表明する企業幹部の割合は現在、60％に達し、2016年に比べて29％増えている。
「こうした企業幹部たちは『リスクや食品の安全を保証するような重要な決断を下すとすれば、はるかに高い説明可能性が必要だ』と主張している」とケニーは述べた。
こうした状況を受けて、ソフトウェア開発企業やITシステムインテグレーターは、AIアルゴリズムの思考の仕組みを顧客に詳しく説明するのは可能だと盛んに口にし始めた。
12月はじめにカナダのモントリオールで開催された機械学習に関する「ニューラル・インフォメーション・プロセッシング・システム（NIPS：神経情報処理システム）」の国際シンポジウムで、IBMは自社のクラウドベースAIソフトウェアが持つ「説明可能性」をブースで盛んに宣伝していた。
同社のソフトウェアは、意思決定においてアルゴリズムが最も重視した要因の3つから5つを顧客に知らせることができるという。
同社のソフトウェアはデータの流れを追跡し、アルゴリズムが用いた情報の出所を明らかにできる。それがバイアス検出にとって重要になるとケニーは述べる。
IBMはまた、企業に対して差別につながり得る人種などのデータフィールドやそれらと緊密な関係を持つ可能性がある郵便番号といった他のデータポイントを排除するのに役立つツールを提供している。

完全な説明が可能なモデルはあるか

シンポジウムでは、データ分析用システムの開発支援を行うコンサルティング会社クァンタムブラック（Quantum Black）が説明できるAIに取り組んでいると売り込んでいたほか、説明能力の高いアルゴリズムの開発をテーマにした研究機関のプレゼンテーションも多く開かれていた。
アクセンチュアは「公正ツール（fairness tools）」というAIアルゴリズム内のバイアスを検知・修正するのに役立つ製品の販売を始めた。同様のツールは、ライバルのデロイトトーマツやKPMGコンサルティングにも存在する。
アルファベット傘下のグーグルは、同社の機械学習アルゴリズムを活用する企業が意思決定プロセスについて理解を深められる方法の提供を開始した。マイクロソフトは2018年6月、説明できるAIの開発を目指すカリフォルニアのスタートアップ「ボンサイ（Bonsai）」を買収した。
カリフォルニア州サンマテオのAIスタートアップ、キンディ（Kyndi）は機械学習ソフトウェアの販売促進のために「Explainable AI（説明できるAI）」を商標登録した。
AIアルゴリズムの意思決定においては、透明性と有効性が矛盾してしまう可能性がある。
「本当に説明するなら、モデルの品質が犠牲になるだろう」と話すのは、自社アプリケーションの多くに機械学習を取り入れているロシアの大手インターネット企業ヤンデックス（Yandex）のミハイル・パラヒン最高技術責任者（CTO）だ。
「完全な説明が可能なモデルは制約があるモデルであり、概して正確性に欠ける。この問題を回避する方法はない」
パラヒンCTOは、一部のAIソフトウェア開発企業が提供する説明は、まったく説明しないよりも質が悪いのではないかという不安を抱える人間のひとりだ。というのも、きわめて複雑な決断をごく少数の要因にまで絞り込もうとすると、微妙な差異が失われてしまうからだ。
「そういったツールの多くは、心理的な安心感を与えるための見せかけにすぎない」

2つのアルゴリズムを用いる手法

アルファベット傘下のAI企業ディープマインドは英国のムーアフィールズ眼科病院と協力して、人間の専門医が診断できる疾患数と同じ、50種の眼疾患を検知できる機械学習ソフトウェアを開発した。
ディープマインドは開発に際し、医師たちはソフトウェアの病気検出プロセスを理解できない限り、システムを信頼してくれないのではないかと考え、2つのアルゴリズムを使うことにした。
ひとつは、スキャン画像上で疾患の存在を示唆していると思われる位置を特定するアルゴリズム。もうひとつは、その結果を使って診断を導き出すアルゴリズムだ。
このように分担させることで、目のスキャン画像上の何を根拠にソフトウェアが診断を下したのかを医師たちは具体的に見ることができる。その結果、システムに対する信頼が全体的に深まった。
説明可能性について研究してきたディープマインドのリサーチャー、ニール・ラビノウィッツは「複数のモデルを使用したこうしたやり方がきわめて効果的なのは、最終的な決断を導き出すのに用いられた根拠について人間側が十分に知識を持っており、それに応じて訓練できる場合だ」と話す。とはいえ、そうしたケースは多くない。
AIの説明可能性に関しては、もうひとつ問題がある。オレゴン州立大学のコンピューターサイエンス名誉教授トーマス・ディートリックは10月にツイートで「説明や解釈の適合性は、われわれがどういうタスクをサポートしているかによって異なる」と指摘した。
さらにディートリックは、AIソフトウェアをデバッグしようとしているエンジニアが必要としていることは、そのソフトウェアを使って決断を下そうとしている企業幹部が求める知識とは大きくかけ離れているとも述べた。
「普遍的な説明ができるモデルなどというものは存在しない」
原文はこちら（英語）。
（執筆：Jeremy Kahn記者、翻訳：遠藤康子/ガリレオ、写真：Just_Super/iStock）
©2018 Bloomberg L.P
This article was translated and edited by NewsPicks in conjunction with IBM.