イーロン・マスク氏のxAI、LLM「Grok-1」をオープンに
コメント
選択しているユーザー
> 3140億パラメータのMixture-of-Experts(MoE)
オープンLLMとして最大パラーメータ数は、Meta社のLlama 2の700億なので、その4倍以上ですね。スケール則が成り立つなら、賢さも4倍。
Mixture-of-Experts(MoE)は、GPT-4なども採用していると噂される、単一のネットワークではなく、複数の専門特化モデルを組み合わせるアーキテクチャ。
公式サイトには、ベンチマークでの性能評価はなく、今後の発表や第三者による比較が待たれる。
https://x.ai/blog/grok-os
注目のコメント
マスク氏は、ChatGPT3.5が世の中に出て騒がれた時には開発凍結を言い、そして今度はオープンにしろと言い、要はオープンAI社の独走をどうにかしたいだけにしか思えないのですよね。
もし今でもマスク氏がオープンAIの内部の立場にいたら、こんなこと言わなかったんじゃないかな、とすら思う。