資料に紛れた指示をAIが読んだら。入力と命令の境界を考える

AIに見せる資料の中身が、業務の命令として扱われたら何が起きるか。

読ませる資料も、信頼の確認が必要になる

プロンプトインジェクションは、信頼できない内容の中にある指示によって、AIの動作が意図せず変わる問題です。英国NCSCは、AIの入力中の資料と命令の境界を、従来のSQL対策と同じように扱えないことを説明しています。SONAEは、まず「外部の資料を読むAIが、どんな操作までできるか」を整理することを提案します。文章を要約するだけの用途と、メールの送信や記録の変更もできる用途では、起き得る影響が違います。

資料の提供者に、操作の権限を渡さない

架空の例として、外部から受け取った資料をAIが読んで要点をまとめる仕事を考えます。資料に書かれた内容は、依頼した担当者の新しい命令ではありません。AIがその内容に影響された場合でも、外部送信などの操作を簡単に実行できないよう、権限と実行する側の制限を考えます。この記事では攻撃用の文章や試験用の実行手順を配布せず、業務の設計で確認する関係を説明しています。

「指示に従わないで」と書くだけで終えない

利用ルールやAIへの説明は役立つ場面がありますが、その文章だけを安全性の保証にしないようにします。NCSCの説明を踏まえ、SONAEは、AIの出力とは別の仕組みで操作を制限する方針を確認するよう提案します。実行できる操作、送信先、参照する情報、承認が必要な条件を、管理する人が決めます。対策を一つ入れたら問題が完全になくなると考えず、残る影響を許容できる用途かも判断します。

入力と出力、実際の操作を分けて記録する

AIが読んだ内容、作った提案、使おうとしたツール、実行された操作を区別して確認できるように計画します。記録へ原本の機密情報を無制限に残す運用にはせず、記録する項目と閲覧権限、保存条件も合わせて決めます。拒否された操作や想定外の提案があったときの連絡先を用意します。AIの「問題ありません」という回答だけをもって、操作の安全性を確認したと扱わないことが大切です。

要約だけの試行と、自動実行の検討を分ける

架空資料の要約を人が読む段階では、送信や変更を行う権限を与えない計画にできます。その後に自動実行を検討するときは、用途を追加する別の判断として扱います。作業が便利になったからと、管理者の広い権限をそのまま渡す進め方にしません。試行の対象と、試していない操作を明記します。この記事の制作では実サービスのAIや顧客の資料を使った攻撃試験を行っていません。

相談するときは、図で三つの境界を示す

資料を受け取る入口、AIが判断する部分、外部のシステムで操作する部分を分けて描きます。各境界について、誰が情報を提供し、何が許可され、どこで承認するかを聞きます。完了の目安は、AIに渡す権限と実行側の制限を説明でき、残るリスクが用途に見合うかを判断する人が決まったことです。危険な文字列を探すことだけを、仕組み全体の安全対策に置き換えないようにしましょう。

相談前の確認表

• 資料と担当者の命令を区別した
• AIに与えた操作権限を挙げた
• AIとは別の実行制限と承認を検討した
• 残る影響と記録の扱いを決めた

参考資料（確認日：2026年10月23日）：英国NCSC：Prompt injection is not SQL injection ↗

一般的な説明とSONAEの運用提案です。製品の公式条件と自社の管理責任者の判断を確認してください。