ChatGPTの限界？　ChatGPTに線虫検査について聞いてみた

線虫検査の有効性に疑義が生じています。Newspicksのスクープによって、医師であっても納得ができるような内容でHIROTSUバイオサイエンス社が行っているN-NOSE線虫検査の未熟さが明らかになりました。最近あまりみたことのないような非常に優れた特集ですので、皆様も一度読んでみてください。

虚飾のユニコーン

線虫がん検査で知られるHIROTSUバイオサイエンス社は、上場準備も進めるユニコーンだ。しかし医療関係者の間では、検査精度が広告の内容よりもかなり低いのでは、という懸念がささやかれている。NewsPicksの調査報道チームが疑惑を検証した。

newspicks.com

今回は短い内容ではありますが、ChatGPT4.0に、線虫検査の有効性について聞いてみた内容をこちらに掲載いたします。ChatGPTは2021年9月までの情報をもとに回答を作成している点についてはご注意ください。

まず、ざっくりと線虫検査の有効性について聞いてみると、線虫検査の優れている点について回答してくれました。しかし、最終的には、線虫検査はまだまだ研究段階であり、その有効性を証明しなければならないと回答が得られました。

次は、同じ質問を「WebPilot」を用いて同じ質問をしてみました。WebPilotはリアルタイムにオンラインの情報を調べることができるプラグインです。

WebPilotを使うと、直接NーNOSEの情報にアクセスすることができました。次は、大事な有効性について聞いてみます。

プラグインを用いることによって、ChatGPTの回答がネット情報に寄ってしまうことがわかりました。本来ChatGPTが持っているデータベースからの情報ではなく、プラグインが探したweb情報からの回答となってしまうと、より信頼性が落ちてしまうということは新たな気づきです。今度はもう一度プラグインなしのChatGPTに戻して質問をしてみます。

次はN-NOSEについて直接聞いてみました。

さすがChatGPTといったところでしょうか。「このような新しい診断技術が臨床的な環境での有効性や信頼性、そして実際の臨床利用に向けての問題点をクリアしているかどうかを確認するためには、さらなる大規模な臨床試験や研究が必要です。」と明確に回答しています。

こう考えると、ChatGPTは今回のNewsPicksの記事のような批判的吟味までは行えないものの、信頼性が担保されていない検査についてはある程度その指摘をしてくれることがわかりました。論文を一つ一つ検証して、エビデンスに疑義を唱えるようなことはまではさすがにやってくれないため、人間のサポートをする「copilot」の領域を超えるのはまだ先の話になりますね。情報の吟味をするためには、しっかりと論文を一つ一つ読んで、批判的吟味をしなければなりませんが、人間が批判的吟味をすることに決めた場合、一つ一つの作業について、ChatGPTを有効活用することができるでしょう。

他にも医療の現場では使われていないものの、ビジネスになっている検査というのはいくつか存在しますので、もしも何か気になる検査があった方は、一度ChatGPTに相談してみるとヒントをくれるかもしれません。