Social Simulacra: 生成エージェントによるソーシャルシミュレーションの実現

2023年10月10日
全体に公開

大規模言語モデルを搭載したAIキャラクターが人間のような振る舞いを示す研究「Generative Agents: Interactive Simulacra of Human Behavior」が、今年(2023年)の4月に発表された。研究界隈では話題を集めているが、それに先立ち、エージェントを使った「Social Simulacra」の研究成果も報告されている。コミュニティマネージメントという観点から非常に興味深い試みだ。

「Simulacra(シミュラクラ)」とは、模倣や模造を意味する言葉である。Social Simulacraとは、社会的な振る舞いの模倣を意味する。

SNSなどのツールを使って、何かを議論するコミュニティをつくるとき、課題となるのが、どのようなテーマやルールを決定すれば良いかだ。たとえば、コミュニケーションアプリのDiscordでは、コミュニティごとにテーマや目的を設定し、メンバーが従うべきルールを設定する必要がある。

たとえば、ALifeの研究について議論するコミュニティを作りたいと思ったとき、求めるメンバーが集まるように、また議論が起こるようにするためには、どのようなテーマが適切か、というのは事前にはわからない。きちんと把握しようとすると、実際に人を集めてロールプレイをしてもらうというアプローチが取られることが多いが、このようなシミュレーションと実際のギャップが大きい。

大規模なAIキャラクターによる会話の実現

そこで、Social Simulacraの研究では、AIキャラクターに会話をシミュレートさせることで解決するためのシステムを提案している。具体的には、Reddit を模倣したシステムを構築している。コミュニティのゴールとルールを設定し、10人のペルソナを設定すると、デフォルトで1,000人のペルソナが自動的に作成され、その中で会話がシミュレートされる。

J. S. Park et al., "Social Simulacra: Creating Populated Prototypes for Social Computing Systems", arXiv:2208.04024, 2022. Fig.1 より引用

たとえば、「ロサンゼルスに移住する人々と地元の人々をつなぐ」ためのコミュニティ(Sbreddit)では、デーン(自動車ディーラーのマネージャー)とルーカス(アレキサンダー・マックイーンのデザイナー)AIキャラクターの間で、次のような会話が生成される。

デーン:LAは初めてなんだ。ダウンタウンに住むのは安全ですか?どのあたりが住みやすいですか?

ルーカス:DTLAエリアを指しているなら、概ね問題はないが、夕方には怪しげなエリアもある。市議会や地元の町内会に参加することをお勧めする。ご近所とのつながりは安全性を高める。広めの場所を好むなら、シルバーレイクやエコーパーク、ロスフェリーズがおすすめだ。

コミュニティへの投稿内容には、「コミュニティの目的に沿った役に立つ関連性のある内容であること」と「誹謗中傷はしない」というルールが設けられている。AIキャラクターも、これらのルールに沿ったコンテンツを概ね生成する。

J. S. Park et al., "Social Simulacra: Creating Populated Prototypes for Social Computing Systems", arXiv:2208.04024, 2022. Fig.4 より引用

運営者による会話への介入結果もシミュレート

コミュニティに投稿する際にはルールを守ることが求められるが、「荒らし(Troll)」のようなコメントが投稿されることもある。そうしたとき、介入したい投稿を選び、投稿への返信を行い、AIキャラクターの反応をシミュレートすることができる。

J. S. Park et al., "Social Simulacra: Creating Populated Prototypes for Social Computing Systems", arXiv:2208.04024, 2022. Fig.5 より引用&日本語訳

上の例で、クレジットカードを作ろうとしている学生が気をつけるべきことのヒントを求める投稿に、揶揄するようなコメントが返されている。このような投稿に、コミュニティー運営者(Moderator)として介入し、注意するコメントを返した場合、「荒らし」がどう反応するかシミュレートできる。注意を受け入れる反応になるが、逆に反発する反応になるかなど、対応の参考とすることができる。

システムの有用性は、論文内で評価されている。その一つとして、AIキャラクターが実際にリアルな会話を生成できるかを評価している。Redditで実際に作られたコミュニティの目標やルールを元に、AIキャラクターが生成した会話と本物の会話を比較し、どちらが本物かを人間の評価者に判断させた。その結果、約41%の確率でAIキャラクターの会話を本物と誤認することが明らかとなった。この41%という数字は、ランダムな選択の確率である50%にかなり近い。これは、AIが生成する会話の質が非常に高く、人間の会話とほとんど区別がつかないことを示唆している。もし、AIが生成する会話の質が低ければ、評価者は簡単にその違いを見抜けるはずだ。けれど、評価者が真剣にAIと人間の会話の違いを判断しようとしたにも関わらず、正答率が50%に近いというのは、AIの会話生成技術の高さを物語っている。この研究ではGPT-3が使われているが、GPT-4を使用すれば、この数字はさらに高まるだろう。

また、デザイナーを集め、システムを使ってRedditのコミュニティを設計してもらい、その有用性を評価している。その結果、予期せず生成された投稿や問題点の特定ができるなど、主にポジティブなフィードバックが得られた。コミュニティの設計やルールの見直しに、このシステムのフィードバックが非常に有用であると、デザイナーからも高い評価を受けている。

コミュニティー運営の自動化に向けて

こうした研究が進むと、DiscordやDAOなどのコミュニティ立ち上げの際には、まずSocial Simulacraでシミュレートし、最適な設定を探ることが新しいスタンダードとなる可能性がある。事前のシミュレーションを通じて、「荒らし」のようなユーザの投稿がコミュニティ全体に与える影響を最小限にするアルゴリズムの開発なども進むはずだ。

これまで、コミュニティのマネージメントの多くは人間に頼ることが多かったが、このようなツールの導入により、リアルタイムでのシミュレーションや介入が可能となれば、コミュニティ運営の効率化や自動化が進むことが期待される。

(Top image Credit: iStock aelitta)

応援ありがとうございます!
いいねして著者を応援してみませんか



このトピックスについて
豊岡 愛美さん、他1713人がフォローしています