Nouvelle cyberattaque 'Man-in-the-Prompt': Exploitation des extensions de navigateur pour cibler les outils d'IA

Une nouvelle méthode de cyberattaque, baptisée "Man-in-the-Prompt", a été identifiée, exploitant les extensions de navigateur pour injecter des instructions nuisibles dans des outils d'IA tels que ChatGPT et Google Gemini. Cette vulnérabilité a été découverte par la société de cybersécurité LayerX. L'attaque exploite la structure d'interface des chatbots, où les champs de saisie d'invite font partie du Document Object Model (DOM) de la page. Cela signifie que toute extension de navigateur avec un accès DOM de base peut lire ou modifier ce que les utilisateurs saisissent dans les invites d'IA, même sans autorisations spéciales. LayerX a démontré des attaques de validation de principe sur les principales plateformes. Pour ChatGPT, une extension avec des autorisations minimales pouvait injecter une invite, extraire la réponse de l'IA et supprimer l'historique de conversation de la vue de l'utilisateur. Pour Google Gemini, l'attaque a exploité son intégration avec Google Workspace. Même lorsque la barre latérale de Gemini était fermée, une extension compromise pouvait injecter des invites pour accéder et exfiltrer des données utilisateur sensibles, y compris des e-mails et des contacts. LayerX recommande aux organisations d'ajuster leurs stratégies de sécurité pour inspecter le comportement du navigateur. Les principales recommandations incluent la surveillance des interactions DOM dans les outils d'IA pour détecter les activités suspectes, le blocage des extensions à risque en fonction de leur comportement et la prévention active de la falsification des invites et de l'exfiltration des données en temps réel au niveau du navigateur. Les chercheurs ont également identifié une nouvelle classe d'attaques adversariales sur les modèles de langage, connues sous le nom d'attaques "Task-in-Prompt" (TIP). Ces attaques intègrent des tâches spécifiques dans les invites pour contourner les protections des modèles de langage, soulignant le besoin urgent de stratégies de défense plus sophistiquées. Ces conclusions soulignent l'importance d'une vigilance continue et de mesures de sécurité renforcées lors de l'intégration des outils d'IA dans les environnements d'entreprise, dans le but de protéger les informations sensibles contre les menaces émergentes.