「GPT-4」搭載ChatGPTは、日本の司法試験に合格できるか　英語なら上位10％のスコアで合格レベル　結果は？

GPT-4が米国の司法試験を上位10%のスコアで回答することに成功したから、日本の司法試験を受けさせたらボロボロだったーー。

一見ネタ的な記事ではありますが、この内容は、GPT-4の限界を示しているという点で非常に興味深い結果でもあります。つまり、すごいと言われているChat GPT、GPT-3.5、GPT-4も、法律そのものの論理を学んでいるわけではなく、あくまで与えられたデータ、言うなれば文字の並びを学んでいるだけということです。

これを言うと元も子もないですが、事前に米国の司法試験の内容をデータとして学習させていれば当然それには答えられるけども、データとして与えていない日本の試験には答えられないというのは、ごく当たり前の結果でもあるということです。

GPT系のモデルはLLM（大規模言語モデル）と呼ばれ、その背景には多額の投資によって実現した大規模なデータと学習システムが存在しています。現状のAIは、自然発生的に何かを自律的に学んでいくというものではなく、人が与えたものを単純に蓄積されたデータから出力していることに過ぎないという事実は、今の限界でもあり、現実でもあります。

とはいえ、これほどまでに大規模で、高精度かつ高機能なAIモデルが登場したことは、多くのビジネスにインパクトをもたらすことは間違いありません。技術の限界を知りつつ、何ができて何ができないのかを把握した上で、それをいかに活用していくかをワクワクと期待し想像することが大切だと思います。