リリースされたプロダクトを解析して、ソースコードを突き止める「リバースエンジニアリング」の一種と言えますね。こういった大規模言語モデルでは、その手法が「プロンプトインジェクション」。

ただ、大規模言語モデルはその汎用性ゆえ、開発者が決めたルールで完全に制限することが難しい。なので、開発者が事前には気がつかないよう問いかけ(攻撃)をされると、その汎用性ゆえ、回答してしまうのでしょうね。

面白い。制御しきれなかったのか、単なる漏れなのか。

なるほど。おもろー！