網路安全公司 LayerX 近期揭露一種名為「提示詞中間人」（Man-in-the-Prompt）的新型網路攻擊手法，該手法利用瀏覽器擴充功能的漏洞，對 ChatGPT 和 Google Gemini 等 AI 工具構成威脅. 這種攻擊允許惡意行為者透過常見的瀏覽器擴充功能，將有害指令注入到生成式 AI 工具中，可能導致敏感資料外洩.
攻擊原理
「提示詞中間人」攻擊利用了 AI 工具在網頁瀏覽器中的運作方式. 這些工具的提示詞輸入欄位是網頁結構（即文件物件模型，DOM）的一部分. 任何具有基本 DOM 存取權限的瀏覽器擴充功能，即使沒有特殊權限，也能夠讀取或修改使用者在 AI 提示詞中輸入的內容.
LayerX 的研究顯示，攻擊者可以利用惡意或受損的擴充功能來操縱使用者輸入，秘密注入隱藏指令，從 AI 回應中提取敏感資料，甚至誘使 AI 模型洩露機密資訊或執行非預期操作. 這種攻擊尤其對企業內部使用的、客製化的大型語言模型（LLM）構成威脅，因為這些模型通常處理高度敏感的資訊，例如智慧財產、公司文件和財務資料.
概念驗證攻擊
LayerX 在主要平台上展示了概念驗證攻擊. 在 ChatGPT 中，具有最低限度權限的擴充功能可以注入提示詞，提取 AI 的回應，並從使用者的視圖中移除聊天記錄. 在 Google Gemini 中，攻擊利用了其與 Google Workspace 的整合，即使 Gemini 側邊欄關閉，受損的擴充功能也能夠注入提示詞，以存取和竊取敏感的使用者資料，包括電子郵件和聯絡人.
LayerX 的分析發現，99% 的企業使用至少一個瀏覽器擴充功能，50% 的企業使用超過 10 個擴充功能. 這意味著攻擊者相對容易誘騙目標安裝惡意擴充功能.
防禦措施
LayerX 建議各組織調整其安全策略，以檢查瀏覽器行為. 建議措施包括：
監控 AI 工具中的 DOM 互動，以檢測可疑活動.
根據擴充功能的行為封鎖風險擴充功能.
在瀏覽器層級即時主動防止提示詞篡改和資料外洩.
其他 AI 攻擊趨勢
除了「提示詞中間人」攻擊，研究人員還發現了一種稱為「任務嵌入提示詞」（Task-in-Prompt，TIP）攻擊的新型攻擊. 這些攻擊將特定任務嵌入到提示詞中，以繞過語言模型中的安全措施.
網路安全公司 Imperva 的研究顯示，針對大型語言模型的攻擊日益頻繁. 此外，Gartner 預測，到 2027 年，超過 40% 的 AI 相關資料外洩事件將源於生成式 AI 在國際邊界上的不當使用. 另有預測指出，到 2028 年，25% 的企業資料外洩將可追溯到 AI 代理濫用.
這些發現強調了在企業環境中整合 AI 工具時，持續保持警惕和加強安全措施的重要性.