新着Pick
593Picks
Pick に失敗しました

人気 Picker
偽陽性もそうですが、「精度」だけで議論しては駄目ということです。

検査の精度
http://canscreen.ncc.go.jp/yougo/11.html


ただ、検査の精度という客観的なものと人間がもつ「確信」という主観的なものを同じ土俵に載せてしまっているのはちょっと誤解を招いてしまうかもしれません。わかりやすさのためには仕方ないのは理解いたしますが。。。

ちなみに、ご参考までに機械学習のときなどに是非気をつけたいことがあります。「10万人に一人がかかるという難病」だと、全てNOとするだけで精度は99.999%になってしまいます。「すごい精度の良いものができた!」とホクホクしていると、実は生起確率の高い方を単純に選んでいただけということも。これも注意しないといけないことの1つ。
ベイズの定理.NewsPicksには「検出率9*.*%のものが完成した」というニュースが時々,出てくる.そのときいつも「?」となっていたので,毎回,おなじツッコミをしてきた.私にとって,コメント生成記事である.
「居酒屋のAI年齢認証、未成年検知率96.1%は本当か?」
https://newspicks.com/news/3672935?ref=user_2112738
「大腸がんなどの病変をAIで98%検知するリアルタイム」
https://newspicks.com/news/2407110?ref=user_2112738
「脳卒中の原因となる脳動脈瘤、AIが「確率9割超」で発見」
https://newspicks.com/news/2224565?ref=user_2112738
「クレジットカードの不正利用検知にAI(人工知能)を使ったら、検知精度が5%から95%に急上昇!」
https://newspicks.com/news/2076394?ref=user_2112738
「AI応用、がん早期発見精度99%以上に」
https://newspicks.com/news/2030166?ref=user_2112738
この記事で用いられている検査の「精度」は「特異度」を指しているものと思いますが、「精度」という言葉を用いて曖昧に論理展開されてしまうと、検査結果の考え方としてややミスリードだと思います。実際、計算の過程で、感度や偽陰性に関する検証が抜けており、陽性的中率(記事に書かれている「陽性が真であると判断される確率」)の計算としてはやや不適切なものになっています。

本来、陽性的中率を算出するためには、感度と特異度の2つの「精度」指標が必要です。

感度も99.9%ならば計算は問題ないですが、連続変数を用いる多くの検査では、特異度を高めた場合、感度は低下しますので、論じられている検査も感度は低い可能性があります。

例えば、感度が10%だとすると、検査陽性で病気が本当にある確率は、記事中の数値とは大きく異なり、約0.1%まで低下します。

読者の混乱がないように一変数のみを用いた論調にされたと想像しますが、本来は偽陽性だけでなく偽陰性にも目を向けることが重要で、そのプロセスなくして陽性的中率の計算はできないということは補足させていただいても良いかと思いました。
医療がメインの記事ではありませんが・・・病気の検査に関して言うと、「精度」という言葉は語弊があると思います。

検査の特性には「本当に病気がある人が、検査が陽性になる確率」を表す感度と、「本当に病気がない人が、検査が陰性になる確率」を表す特異度の2つがあります。今回は偽陽性の話をしているので、精度というのはおそらく特異度のことでしょう。

罹患率が10万に1人の病気について、100万人に対して特異度が99.9%の検査を行ったとすると、偽陽性になるのは99万9990人×0.1%≒1000人です。感度の記載はありませんが、感度100%であったとすると、真の陽性となるのは10人×100%=10人です。「検査が陽性になった人の中で、本当にその病気を持っている人」をあらわす陽性的中率は、10人/1010人=0.99% となります。

10万に1人の病気に対してこういったスクリーニング検査を行うことはまずありませんが、近い状況になるのはHIVの検査です。HIV検査の特異度は99%以上と言われていますが、日本は罹患率が非常に低いため、偽陽性になる人が相対的に多くなり、本当はHIVではないのに落胆してしまう人が出てくるのが問題になります。

スタートアップの件も、その数字が表しているのは感度、特異度、陽性的中率、陰性的中率のどれなのかを考えるとより正確な判断ができると思います。
スタートアップ投資の成功確率の話は、医療における検査の偽陽性の話とはそもそも前提が異なるので偽陽性とは論点がちがう話だと思います。うまく行きそうに思われたけどうまく行かなかった場合、外部環境の変化や多くの変数や条件が異なることによるもので偽陽性だったわけではない。感情に流されて正確な数字が把握しにくいという点では一緒かもしれないですが。
100万人の母数に対して10万人に一人の難病ということは10人が罹患している一方、999,990人が罹患していない。検査の精度が99.9%ということは、罹患者10人のうち9.99人が陽性、0.01人が陰性。罹患していない999,990人のうち999.99人が陽性、998,990.01人が陰性。よって、偽陽性の割合99.01%(≒999.99人÷1,009.98人×100)。ちなみに偽陰性の割合0.00%(≒0.01人÷998,990.02人×100)。故に陽性かつこの難病に罹患している可能性は0.99%(=100%-99.01%)。こんなところでしょうか。

記事中で述べられているようにたしかに「とても極端なケース」ではありますが、こういう頭の体操を通して「真値(本当の確率、ここでは真の出現確率)が実際には分からないことの方が圧倒的に多いという現実」を念頭に置いておくのは、実際に意思決定、判断を下すうえでの心構えとして重要かと思います。
病気の検査の記事も、
◯病気の人が陽性にでる確率=感度
◯病気でない人が陰性にでる確率=特異度
を分けて報じられる事があまりないようです。

https://newspicks.com/news/3393286/
(ちなみに、この1滴検査の原著論文では感度99%、特異度100%)

罹患率が低い病気の場合は特異度が最も大切な指標です。
ベンチャー投資で9割がた成功するなんて、、、成功の定義によるが信じる方がまずい。

ちなみに私が知る古巣の役員は独立後、10社にハンズオン投資して4社上場してるそうです。。。

偽陽性のspamフォルダにたまに大事なメールが潜り込んでる件、あるあるです。たまにチェックしましょう。
数字のマジックによく引っかかっています。冷静に見る目が必要ですね。TV番組『ホンマでっか!?』の解説は、ホンマでっか!?と思いながらもいつも楽しい。偽陽性の罠にハマる快感をいつも感じています。
確かにぱっと見で判断すると間違いそう。でも事例として偽陽性的なアプローチで投資の意思決定する事はなさそうだけど。

『この時、案件担当者が「この案件がうまく行きそうだと99%確信しています」と言ったとする。』