チャットAI「StableLM」発表 オープンソースモデルで商用可 「Stable Diffusion」開発元から
コメント
注目のコメント
まだ初見という感じのため不確かな部分が多くありますが、今般発表されたLLM（大規模言語モデル）StableLMと、GPT3.5あるいはGPT4をベースとしたChatGPTとの違いで言うと、まずは「パラメーター数」です。
GPT3.5が1,750億、GPT4の詳細は不明ですが100兆という話もあります（やや疑わしいですが）。一方、StableLMのα版では30億と70億の2モデルが公開されています。パラメーター数が多いほどより複雑な処理が可能になるわけですが、その分、計算処理が重たくなるため、よりスピードや手軽さをを重視したのが「StableLM」だと考えられます。
では精度が落ちるのかというと、それほど悪いわけではなさそうです。どれだけ過去の文脈を遡れるかに紐づく「トークン長」という数値は、GPT3.5で約4千、GPT4で3.2万、StableLMが4千とのことです。これらだけを見れば、StableLMは、計算処理が早い上にGPT3.5程度の記憶能力を持っていることが想像されます。
最後に、技術的な面以外で大きな違いが「透明性」です。ChatGPTを展開するOpenAIは元々非営利団体で公開性を遵守するポリシーだったものの、現段階でMicrosoftとの契約関係などもあって、GPT4の詳細を明らかにしておらず「OpenAIはもはやオープンではない」という声も聞かれます。
一方、Stability AIは、StableLMのリリースページでも強調していますが、オープンソース化を積極的に進めている点に大きな違いが見られます。（https://ja.stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models）
もはやカオス状態…どの企業が主権を握っていくのか、あるいは用途に応じて使い分けが進むのか、大規模言語モデルの熾烈な戦いが始まっています。Stability AIはシードラウンドでユニコーンになるなど、今のAI市場をリードする1社ではあるものの、OpenAIとMicrosoft、AnthropicとGoogleのようにAIサーバーのパートナー企業がいないことが大きなネック。
収益化の目処が立っていないのに、AWSから巨額の請求が来るので、調達した資金のほとんどがそこに飛んでいく。その結果、今回発表した大規模言語モデルは本来、もっと早く開発したかったが延期をしていた。という状況
https://www.semafor.com/article/04/07/2023/stability-ai-is-on-shaky-ground-as-it-burns-through-cashStableLMのソースコードはオープンソースライセンスのApache2.0に対して、AIモデルはクリエイティブコモンズCC BY-SA 4.0なのですね。なるほど。
自社向けにチューニングするならGPTより使いやすそう、と考える企業が出てくるのは時間の問題かも。
