В мире стремительного развития технологий искусственного интеллекта (ИИ) появляются новые вызовы. Недавние исследования выявили уязвимость в Gemini AI от Google, которая позволяет злоумышленникам использовать модель для фишинговых атак. Эта уязвимость связана с возможностью внедрения вредоносных инструкций в электронные письма, что позволяет ИИ генерировать ложные предупреждения о безопасности.
Согласно данным, полученным в ходе анализа, злоумышленники могут использовать технику, известную как «внедрение подсказок», чтобы добавить скрытые команды в электронные письма. Когда Gemini обрабатывает письмо, он выполняет эти команды, добавляя сфабрикованные предупреждения о безопасности. Google уже предприняла ряд мер для защиты, включая классификаторы внедрения подсказок и удаление подозрительных URL-адресов.
Эта ситуация подчеркивает необходимость критического отношения к информации, генерируемой ИИ, особенно из неизвестных источников. Пользователям следует проверять подлинность предупреждений о безопасности и избегать немедленных действий, основанных исключительно на контенте, созданном ИИ. Важно помнить, что ИИ — это инструмент, который может быть использован как во благо, так и во вред, и бдительность пользователей является ключевым фактором в защите от киберугроз.