【日曜コラム】合成生物学のリスク：最近の動き

今回は合成生物学のリスクについての最近の動きを紹介します。

📌OpenAIによる合成生物学報告書

1月31日、OpenAIが、「Building an early warning system for LLM-aided biological threat creation（LLMによる生物学的脅威創出のための早期警告システムの構築）」という報告書を発表しています。つまり、ChatGPTに、生物兵器を作れるようにする能力があるのか、どうしたら良いのか、ということをChatGPTを開発しているOpenAI自身が調査してみたということです。

Building an early warning system for LLM-aided biological threat creation

We’re developing a blueprint for evaluating the risk that a large language model (LLM) could aid someone in creating a biological threat. In an evaluation involving both biology experts and students, we found that GPT-4 provides at most a mild uplift in biological threat creation accuracy. While this uplift is not large enough to be conclusive, our finding is a starting point for continued research and community deliberation.

openai.com

こちらは上のOpenAIのサイトのGoogle翻訳版です（環境によってうまく読めないかもしれません）。

Building an early warning system for LLM-aided biological threat creation

openai-com.translate.goog

まとめようと思いましたが、ギズモードのサイトにこの報告書をわかりやすく解説した文章「GPT-4で生物兵器は作りやすくなる？ OpenAI自ら調べてみた」という記事がありましたので、説明はそちらに譲りたいと思います。

GPT-4で生物兵器は作りやすくなる？ OpenAI自ら調べてみた

ChatGPTで知られるOpenAIが、大規模言語モデルGPT-4と生物兵器開発に関するレポートを公開しました。レポート結論をめちゃくちゃカジュアルにざっくりいうと…｢生物兵器の開発にGPT-4を活用してみたけど、完成度や精度がちょっと上がる程度だった｣です。AIは人類にとって脅威となるか？OpenAIの調査、AIと生物兵器開発について評価をしたのは生物学のプロとそれを学ぶ学生たち。生物学博士号

www.gizmodo.jp

こちらは、OpenAIの開発者フォーラムの関連ブログです。

OpenAI Blog: Building an early warning system for LLM-aided biological threat creation

Teaser: A experiment was conducted with 100 participants to work on new biological threats, with 50 of the participants having access to GPT-4. OpenAI included a call for participation to the community so I decided to share this here. I think it takes some creativity to envision how this would work in practice and is definitely an interesting read. Especially considering that without guardrails, which are often in the way of hands-on development, there could be a crack down on public accessi...

community.openai.com

📌合成生物学についてのモグラたたきガバナンスの課題

一方、プレプリントサーバarxivに「The whack-a-mole governance challenge for AI-enabled synthetic biology: literature review and emerging frameworks（AI を活用した合成生物学におけるモグラたたきのガバナンスの課題: 文献レビューと新たなフレームワーク）」という論文が、スタンフォード大学のTrond Arne Undheim氏によって掲示されています（論文は2月5日付けで、Frontiers in Bioengineering and Biotechnology誌に正式に受理されていますが、本文はまだarxivでのみ閲覧可能です）。

The whack-a-mole governance challenge for AI-enabled synthetic biology: literature review and emerging frameworks

AI-enabled synthetic biology has tremendous potential but also significantly increases biorisks and brings about a new set of dual use concerns. The picture is complicated given the vast innovations envisioned to emerge by combining emerging technologies, as AI-enabled synthetic biology potentially scales up bioengineering into industrial biomanufacturing. However, the literature review indicates that goals such as maintaining a reasonable scope for innovation, or more ambitiously to foster a huge bioeconomy don't necessarily contrast with biosafety, but need to go hand in hand. This paper presents a literature review of the issues and describes emerging frameworks for policy and practice that transverse the options of command-and control, stewardship, bottom-up, and laissez-faire governance. How to achieve early warning systems that enable prevention and mitigation of future AI-enabled biohazards from the lab, from deliberate misuse, or from the public realm, will constantly need to evolve, and adaptive, interactive approaches should emerge. Although biorisk is subject to an established governance regime, and scientists generally adhere to biosafety protocols, even experimental, but legitimate use by scientists could lead to unexpected developments. Recent advances in chatbots enabled by generative AI have revived fears that advanced biological insight can more easily get into the hands of malignant individuals or organizations. Given these sets of issues, society needs to rethink how AI-enabled synthetic biology should be governed. The suggested way to visualize the challenge at hand is whack-a-mole governance, although the emerging solutions are perhaps not so different either.

arxiv.org

Trond Arne Undheim氏は、スタンフォード大学の未来学者ということですが、ヘルステク関係にも詳しい方です。

Trond Undheim

Seeking to understand the depth of human depravity and the heights of human wisdom towards 2075.

trondundheim.com

https://twitter.com/trondau

以下、この掲示されたプレプリントのサマリー部分の日本語訳です。

AIを活用した合成生物学には大きな可能性がありますが、バイオリスクも大幅に増大し、新たなデュアルユースの懸念も引き起こします。 AIを活用した合成生物学はバイオエンジニアリングを工業的なバイオ製造にスケールアップする可能性があるため、新興テクノロジーを組み合わせることで大きなイノベーションが生まれると想定されており、状況は複雑です。しかし、文献レビューによると、イノベーションの合理的な範囲を維持する、あるいはより野心的には巨大なバイオエコノミーを促進するなどの目標は、必ずしもバイオセーフティと対照的なものではなく、両立する必要があることが示されています。この論文は、問題に関する文献レビューを提示し、指揮統制、管理、ボトムアップ、自由放任ガバナンスの選択肢を横断する政策と実践のための新たな枠組みについて説明します。研究室、意図的な誤用、または公共の領域からの将来のAI 対応バイオハザードの予防と緩和を可能にする早期警告システムを実現する方法は、常に進化する必要があり、適応的で対話型のアプローチが出現する必要があります。バイオリスクは確立されたガバナンス体制の対象であり、科学者は一般にバイオセーフティプロトコルを遵守していますが、たとえ実験的であっても科学者による合法的な使用は予期せぬ展開につながる可能性があります。生成AI によって可能になったチャットボットの最近の進歩により、高度な生物学的洞察が悪性の個人や組織の手に渡りやすくなるのではないかという懸念が再燃しています。これら一連の問題を考慮すると、社会は AI を活用した合成生物学をどのように管理すべきかを再考する必要があります。当面の課題を視覚化するために提案されている方法はモグラたたきのガバナンスですが、新たに登場するソリューションもおそらくそれほど違いはありません。

https://arxiv.org/abs/2402.00312

📌合成生物学とは何か？

上で紹介したTrond Arne Undheim氏の論文を見ていたら、その冒頭で、私の書いたコメント（英文）を引用して、合成生物学の可能性を説明していました。

合成生物学は、有用な目的を持った生物学的システムを理解、修正、再設計、工学的設計、強化、構築しようとする生物学の学際的分野であり (El Karoui, Hoyos-Flight and Fletcher, 2019; Singh et al., 2022; Plante, 2023)、食糧生産の進歩、新しい治療法の開発、環境の調整、再生可能エネルギーの生成、ゲノムの編集、タンパク質の構造の予測、効果的な合成生物学的システムの発明などの可能性を秘めている（Yamagata, 2023）。それは間違いなく、研究室から市場へと移行しつつある（Hodgson, Maxon and Alper, 2022; Lin, Bousquette and Loten, 2023）。

https://arxiv.org/abs/2402.00312

それはともかく、最初に引用されている3つの総説が合成生物学を知るのに便利と思いますので、以下にリンク付きで紹介しておきます。

El Karoui, M., Hoyos-Flight, M. and Fletcher, L. (2019) ‘Future Trends in Synthetic Biology-A Report’, Frontiers in bioengineering and biotechnology, 7, p. 175.（オープンアクセス）

Singh, V. et al. (2022) ‘Chapter 1 - An introduction to advanced technologies in synthetic biology’, in V. Singh (ed.) New Frontiers and Applications of Synthetic Biology. Academic Press, pp. 1–9.　（本書は、合成生物学を設計する研究者だけでなく、研究者、学生、合成生物学者、代謝工学者、ゲノム工学者、臨床医、実業家、利害関係者、政策立案者など、さまざまな分野で合成生物学の可能性を活用することに関心のある人々にとって、よい情報源となる）

Plante, M. (2023) ‘Epistemology of synthetic biology: a new theoretical framework based on its potential objects and objectives’, Frontiers in bioengineering and biotechnology, 11, p. 1266298. （オープンアクセス）

特に、2023年11月の新着論文「合成生物学の認識論」のこの整理が秀逸だと思いました。合成生物学の安全性もこのような認識論の上で議論していくべきなのでしょう。そして、各論になりがちな日本の合成生物学の振興と安全性の議論は、このような総合的な視点での再構築が必要であると感じます。

合成生物学が貢献できる、3つの連続する関連した目的（1つの目的の達成が他の目的の発展につながった）を提案する：学際的協力（自然科学、人工科学、理論科学の間での）、自然の生命体に関する知識（過去、現在、未来、代替）、「生きている」という概念の実用的定義（生物学者が異なる文脈で使用できる）。

この新しい理論的枠組みを、その潜在的な対象と目的に基づいて考えると、合成生物学は、生物学における他の下位学問分野とは異なる、独自の新しいアプローチ（方法、対象、目的を含む）を発展させる可能性があるだけでなく、生命体に関する新しい知識を発展させる能力も持っている。

https://www.frontiersin.org/articles/10.3389/fbioe.2023.1266298/full