Anthropic、AIチャット「Claude 3」を3サイズで 日本語力も向上

コメント

選択しているユーザー

• シバタ アキラ

  Weights & Biases カントリーマネージャー

  ・2024年03月05日

  弊社の運営するLLM日本語評価リーダーボード、Nejumi.ai でもOpenAIのモデルに次いで上位に来ていたのがClaude v2でした。多言語での性能には定評があり、韓国のSKテレコムやLG CNSなども出資しています。これまでは日本語ではGPT-3.5レベルの評価でしたが、今回の評価は英語ではGPT-4を超えた、とあって期待値が高まります。ただしモデル開発者の自己評価は概して自社モデルに贔屓目なので、弊社も評価を早く出したいところですが、AWS Bedrockではまだ最大のモデルが使えないということで、彼らの精度評価の検証にはもうすこし時間がかかりそうです。

注目のコメント

• 比屋根 一雄

  三菱総合研究所 執行役員兼研究理事 生成AIラボセンター長

  ・2024年03月05日

  Claude 3やGeminiの日本語能力がかなり気になってきます。誰かGPT-4との正確な比較評価してくれませんか。
• 平野 佑樹

  株式会社QuackShift CTO

  ・2024年03月06日

  Claude 3というモデルがGPT-4やgeminiを性能で凌駕したとのこと。
  
  これまで生成AI系はMicrosoft Azureを採用することが多かった一方、AWSも浸透してほしい。
  AWS BedrockでLLMパイプラインを実装しようとした時に、Azureに比べてユーザビリティが悪かったので、ユーザビリティ含めた改善を期待します。