ChatGPT vs BERT：どちらが日本語をより理解できるのか？

コメント

注目のコメント

• 比屋根 一雄

  三菱総合研究所 執行役員兼研究理事 生成AIラボセンター長

  ・2023年05月19日

  素晴らしい研究です。
  タスクによってはGPT最強ではなかったと同時に、やはりプロンプト改善で精度が上がるというのは重要な知見です。
  
  <以下、引用>
  日本語に対する言語理解能力を測るベンチマークであるJGLUEを用いて、ChatGPTの日本語に対する理解能力を定量的に評価してみました。その結果をBERTやRoBERTaなどのモデルをファインチューニングした場合と比べると、タスクによってはそれらのモデルを上回る性能を示すことがわかりました。また、高度なプロンプトを使うことで、性能改善の余地がありそうなこともわかりました。