Новий метод кібератаки націлений на інструменти штучного інтелекту
Нещодавно виявлений метод кібератаки, відомий як "Людина в запиті", використовує шкідливі розширення браузера для впровадження шкідливих інструкцій в інструменти штучного інтелекту, такі як ChatGPT та Google Gemini. Цю вразливість виявила компанія з кібербезпеки LayerX.
Як працює атака
Атака використовує структуру інтерфейсу чат-ботів, де поля введення запитів є частиною об'єктної моделі документа (DOM) сторінки. Це означає, що будь-яке розширення браузера з доступом до DOM може читати або змінювати те, що користувачі вводять у запити штучного інтелекту, навіть без спеціальних дозволів.
LayerX продемонструвала атаки proof-of-concept на основних платформах. Для ChatGPT розширення з мінімальними дозволами могло вставити запит, витягти відповідь штучного інтелекту та видалити історію чату з поля зору користувача. Для Google Gemini атака використовувала його інтеграцію з Google Workspace. Навіть коли бічну панель Gemini було закрито, скомпрометований додаток міг вставляти запити для доступу та вилучення конфіденційних даних користувача, включаючи електронні листи та контакти.
Рекомендації щодо захисту
LayerX рекомендує організаціям скоригувати свої стратегії безпеки для перевірки поведінки браузера. Ключові рекомендації включають моніторинг взаємодії DOM в інструментах штучного інтелекту для виявлення підозрілої активності, блокування ризикованих розширень на основі їхньої поведінки та активне запобігання підробці запитів і витоку даних у режимі реального часу на рівні браузера.
Новий клас атак: "Завдання в запиті" (TIP)
Дослідники також виявили новий клас атак на мовні моделі, відомий як атаки "Завдання в запиті" (TIP). Ці атаки вбудовують конкретні завдання в запити, щоб обійти захисні заходи в мовних моделях, підкреслюючи нагальну потребу в більш складних стратегіях захисту.
Ці висновки підкреслюють важливість постійної пильності та посилених заходів безпеки під час інтеграції інструментів штучного інтелекту в корпоративне середовище з метою захисту конфіденційної інформації від нових загроз.