和製LLM（大規模言語モデル）が、GPT-4などの海外LLMと比べてどうオリジナリティを出すべきかが気になっていましたが、この記事を通して、その筋が見えてきたような気がします。

あくまで私の解釈ですが、サイバーさんのモデルは、日本語生成の点において海外モデルに対抗することを目的としたものではなく、広告コピー生成というニッチ領域で日本人に最適化した「ドメイン特化モデル」であることに気付きます。

マーケティング観点では、「広告コピー」と一言で言っても、やはりターゲットに好まれる文言や、媒体・チャネルごとによく使われる表現、他のコンテンツとの競合性など、多くの要素を加味した上で作成する必要があります。

サイバーさんのLLMは、単なる汎用的な「生成AI」という枠を越えて、適した学習データを用いることでマーケティング機能を持たせ、「生成AIによる最適化」にまで踏み込んでいる点に価値が見出されます。

こう見ると、やはり産業特化・地域特化・ビジネスドメイン特化など、ニッチな部分に特有のデータを収集・学習させ、汎用的なLLMでは出力できないような解を出力させる点に、残念ながら世界的には開発に出遅れてしまった和製LLMの勝ち筋があるのだと思います。

一方、記事内で石上さんも触れておられますが、こうした産業データ・ビジネスデータの収集を、いかに国が主体となって進めるかが大きな課題です。一企業で集められるデータ量には限界があり、利害も絡んでくるため、政府やアカデミアが主となって、共通データ基盤を作るような動きが、いま求められていると強く感じます。

広告コピー生成というタスクは多様な業界や媒体ごとに的したクリエイティブを作成する必要があるが、それぞれで十分な生成モデルを学習させるだけの大量のデータを収集することは大変困難である。

そこで、特定のドメインに限定しない大量のデータを学習させることで一般的な知識を獲得させた基盤モデルを生成し、タスクごとには比較的少量のデータを追加することでよりその業界や媒体に適したコピーを生成することを可能にする。

大規模言語モデルの作成モチベーションが事業に直結しており、実際に運用もされている素敵な事例だと思いました。

事業会社のマーケティング部門でこの話を理解して行動できる人はどのくらいいるだろう？
日本にはデジタル人材が事業会社ではなく広告会社やSIer、コンサルなどベンダ側に集まりすぎてると感じます。

広告の世界もデジタルトランスフォーメーションが進んでいるのですね。媒体ごとのレスポンス予測など、広告に特化したところが強みでしょう。どこまで進化するか楽しみです。

汎用的なChatGPTとは全く別物で、広告に特化したAIということのようですね。

日本市場の規模以上にはなりませんが、戦い方としてはアリだと思いました。

GPT4.0のファインチューニングと比べてどの程度の精度向上ができるかで価値が変わりそうですね。ここら辺は学習のコストも高いのでどこまでやるかのROI判断が難しい。

まず、言語データのテキストデータ化（デジタル化）がありました。
　話される記号、手で書かれる記号であった言語が、0と１で処理されるデジタルデータになったのが、だいたい20世紀の半ばです。
　言語がコンピュータで数学的に処理できるようになりました。
　コンピュータというのは、つまり大量の計算を高速でできる計算機です。画像であれ言語であれ、デジタル化すれば数学的に処理できるようになり、コンピュータで扱えるようになります。

言語を大量に（それこそ数千億のパラメータ）をコンピュータで処理する、学習させると何ができるかというと、自然な（確率的に頻度の高いパターンの）会話や質疑応答のやりとりができるようになります。
　大規模言語モデルは、デジタル化された言語を大量に学習したうえで、文脈に即して、確率的によくある会話や文章を構築して見せるという、コンピュータの数学的な言語処理です。
　それだけのものであり、独自に新たな科学的発見をする、といったものではない、ともいえます。ただし、現存する膨大なデータを取捨選択して組み合わせるだけでも、それまでにない知見につながることは十分ありえます。

コンピュータが構築する会話や文章は、どのようなデータ（デジタル化された言語）を学習しているか、で違ってきます。
　ネット上の言語といっても膨大ですが、電子書籍であったり、ソーシャルメディアであったり、公文書、新聞雑誌記事、などなど、その全てを学習したAIはまだありません。

ネット上にあるデジタル化された言語の中には、学習が許可されたものとそうでないものがあります。
　ツイッター社は、ツイッター社の許可なくツイートをAIに学習させることを禁じています。
　新聞社や出版社も自社の言語データを許可なくAIに学習させるのを禁じているところがあります。

大規模言語データは、今や莫大な価値のついた資産です。
　おそらく、国家的な戦略的資産になります。
　デジタル化した言語を、どのようなテキストを、どれだけ大量に学習したかで、AIの性能が決まります。少なくとも、大規模言語モデルのAIであれば、そうなります。

本当の一流のコピーライターに勝てなくても、一般的な個人や企業が使う分には、十分な性能であれば、活用できる範囲や市場は大きいですよね。

大手の広告会社へのインパクトは少ないでしょうが、中小や個人の広告会社にとっては、深刻な影響があるかもしれません。

※個人的な見解であり、所属する会社、組織とは全く関係ありません

CAの会社規模感で、「まずはやってみる」という姿勢を受け入れる企業風土が醸成されていることが素晴らしいと感じます。