提示注入是什麼？AI Agent 讀到的文件或網頁，會不會反過來對它下指令？

一、提示注入怎麼發生

OWASP 的定義：使用者的輸入以非預期的方式改變了模型的行為或輸出，就是提示注入。分兩種：

• 直接提示注入：使用者自己在對話框輸入，想讓 AI 不照規則走。
• 間接提示注入：AI 從外部來源讀進內容（網頁、檔案），內容裡藏著指令，AI 把它當成要執行的命令。這些指令可能是人眼看不到的，例如白底白字。

OWASP 列出的情境包括：請 AI 摘要一個網頁，網頁裡藏的指令讓 AI 把私人對話外傳；有人上傳一份把惡意指令拆開藏在不同段落的履歷，AI 評估應徵者時被操控；有人改動 RAG 知識庫裡的一份文件，影響 AI 的回答。

為什麼 AI Agent 比聊天 AI 更要注意？聊天 AI 被騙，頂多說錯話；AI Agent 可以寄信、查資料、改檔案，被騙的話就可能真的做出動作。

和「越獄」差在哪？OWASP 說兩者常被混用。越獄是提示注入的一種，目的是讓模型無視它的安全規則；提示注入的範圍更廣，凡是用輸入改變模型行為都算。

二、企業可以做的 5 道防線

OWASP 的防範建議，整理成企業做得到的版本：

1. 外部內容和指令分開。AI 讀進來的網頁、信件、附件，一律標記成「資料」，不是「指令」；系統提示寫明角色與界線。
2. 最小權限。負責讀外部信件的 AI Agent，不給它寄信或刪檔的權限；敏感功能放在程式裡處理，不交給模型決定。
3. 高風險動作要人核准。對外發送、花錢、刪除或修改正式資料，由人確認後才執行。就算 AI 被騙，也停在核准這一關。
4. 輸出格式用程式檢查。事先規定 AI 的輸出格式，用確定性的程式碼驗證，不符合就擋下。
5. 定期做對抗測試。把模型當成「不受信任的使用者」，定期用模擬攻擊測試信任邊界有沒有守住。

OWASP 也提醒：RAG 和微調可以讓回答更相關、更準確，但研究顯示它們無法完全防止提示注入。所以防線要靠權限和流程，不能只靠模型本身。

三、一個簡單的自我檢查

請導入方或自己的 IT 回答這三題：

• 這個 AI Agent 會讀哪些「別人寫的」內容？（網頁、客戶來信、上傳檔案、共用文件）
• 它讀完之後，能做哪些動作？（寄信、改資料、付款、呼叫外部服務）
• 哪些動作做之前一定會停下來等人確認？

如果有一項「會讀外部內容」又「能直接做動作」、中間沒有人確認，那就是要先改的地方。