Um novo ataque cibernético, denominado "Man in the Prompt", foi descoberto, explorando extensões de navegador para inserir instruções maliciosas em ferramentas de IA como ChatGPT e Google Gemini. A empresa de segurança cibernética LayerX identificou essa vulnerabilidade.
O ataque se aproveita da estrutura da interface dos chatbots, onde os campos de entrada de prompt fazem parte do Document Object Model (DOM) da página. Isso significa que qualquer extensão de navegador com acesso básico ao DOM pode ler ou alterar o que os usuários digitam nos prompts de IA, mesmo sem permissões especiais.
A LayerX demonstrou ataques de prova de conceito em grandes plataformas. Para o ChatGPT, uma extensão com permissões mínimas poderia injetar um prompt, extrair a resposta da IA e remover o histórico de bate-papo da visualização do usuário. Para o Google Gemini, o ataque explorou sua integração com o Google Workspace, permitindo que uma extensão comprometida injetasse prompts para acessar dados do usuário.
A LayerX recomenda que as organizações ajustem suas estratégias de segurança para inspecionar o comportamento do navegador, incluindo o monitoramento das interações do DOM dentro das ferramentas de IA para detectar atividades suspeitas e o bloqueio de extensões arriscadas com base em seu comportamento. Eles também recomendam impedir ativamente a adulteração de prompts e a exfiltração de dados em tempo real no nível do navegador.
Os pesquisadores também identificaram ataques "Task-in-Prompt" (TIP), que incorporam tarefas específicas em prompts para ignorar as salvaguardas em modelos de linguagem, destacando a necessidade de estratégias de defesa mais sofisticadas.