Picks
18フォロー
9859フォロワー


AIチャットボットを狙う「プロンプトインジェクション攻撃」 英当局が警告
西尾 素己多摩大学ルール形成戦略研究所 客員教授
うーんなんだろうなぁ
この手の新技術の脆弱性や危険性について話される時ってほんと嫌になるんだけど、別にそんなのAIからのリクエストに対してトラストアルゴリズムなりでACLかければいいはなしであって、そもそも外部入力プロンプトか否かの判定ができれば良いと言う話
こんなもんはもうすでにセキュリティ機能として開発されてて、爆発的に普及している程度の低いなんちゃってAI企業が超汎用的な言語処理エンジンを特定の用途に使っているから起こることであって、怠慢だとしか思わない
なんでいつもデカいインシデントが起きるまでセキュリティは後回しなのか
某QRコード決済アプリが学生の夏休みの課題以下のセキュリティ水準だったことももはや皆んな忘れて使ってる
嫌になりますねほんとに
生成AIの活用で想定されるセキュリティリスク--NRIが解説
西尾 素己多摩大学ルール形成戦略研究所 客員教授
aiの提供者は信頼できるか、aiにどんな情報なら投げていいのか、その返答は信頼できるか(ブラックボックス問題)、この辺が軸な気がする
マルウェア感染等はその結果として起こり得ることですからね
セキュリティの基本であるインプットとアウトプットのサニタイズで大部分は解決できる
それよりも学習データの偏りや、意図的な偏向返答を規制すべきであって、これは国家による情報統制や独裁政権による国民洗脳に繋がるから本当に良くないと思うわけです
セキュリティ云々はさ、レガシーシステムもちゃんと守れてない国なんだから民間企業があんまりまだ騒ぐようなレベルに達してない
aiとの付き合い方に時間割けるならレガシーなんとかしてよって話

NORMAL
投稿したコメント