Een nieuwe cyberaanvalmethode, genaamd 'Man in the Prompt', is ontdekt, waarbij kwaadwillenden browserextensies gebruiken om schadelijke instructies te injecteren in AI-tools zoals ChatGPT en Google Gemini. Deze kwetsbaarheid werd ontdekt door cybersecuritybedrijf LayerX.
De aanval maakt misbruik van de interfacestructuur van chatbots, waarbij prompt-invoervelden deel uitmaken van het Document Object Model (DOM) van de pagina. Dit betekent dat elke browserextensie met basis DOM-toegang kan lezen of wijzigen wat gebruikers in AI-prompts typen, zelfs zonder speciale machtigingen.
LayerX demonstreerde proof-of-concept-aanvallen op grote platforms. Voor ChatGPT kon een extensie met minimale rechten een prompt injecteren, de reactie van de AI extraheren en de chatgeschiedenis uit het zicht van de gebruiker verwijderen. Voor Google Gemini maakte de aanval gebruik van de integratie met Google Workspace. Zelfs wanneer de Gemini-zijbalk was gesloten, kon een gecompromitteerde extensie prompts injecteren om toegang te krijgen tot gevoelige gebruikersgegevens, waaronder e-mails en contacten, en deze te exfiltreren.
LayerX adviseert organisaties om hun beveiligingsstrategieën aan te passen om het gedrag van browsers te inspecteren. Belangrijke aanbevelingen zijn onder meer het monitoren van DOM-interacties binnen AI-tools om verdachte activiteiten te detecteren, het blokkeren van riskante extensies op basis van hun gedrag en het actief voorkomen van prompt-manipulatie en data-exfiltratie in realtime op browserniveau.
Onderzoekers hebben ook een nieuwe klasse van aanvallende aanvallen op taalmodellen geïdentificeerd, bekend als 'Task-in-Prompt'-aanvallen (TIP). Deze aanvallen embedden specifieke taken in prompts om beveiligingen in taalmodellen te omzeilen, wat de dringende behoefte aan meer geavanceerde verdedigingsstrategieën benadrukt.
Het Nationaal Cyber Security Centrum (NCSC) benadrukt dat de digitale dreiging voor Nederland groot en divers is. Cyberaanvallen zijn een constant risico, en het is essentieel om een brede kijk op risicobeheersing te hebben.
Uit onderzoek blijkt dat veel bedrijven geen adequate beveiliging hebben tegen aanvallen via browserextensies. Het is cruciaal dat bedrijven zich bewust zijn van de risico's en passende maatregelen nemen om hun systemen te beschermen.