Они доказали, что специально измененные изображения могут содержать скрытые команды, способные управлять действиями ИИ-агентов на компьютере пользователя.
В отличие от стандартных чат-ботов, ИИ-агенты способны самостоятельно выполнять различные задачи: открывать браузер, работать с файлами и заполнять онлайн-формы. Для анализа интерфейса такие программы постоянно делают снимки экрана и обрабатывают их. Именно в этом процессе кроется уязвимость.
Исследователи установили, что даже незначительные изменения в картинке — буквально несколько пикселей — могут нести скрытые инструкции для ИИ. Человеческий глаз такие изменения не замечает, но искусственный интеллект распознает их как команды к действию. Это может быть что угодно: обои на рабочем столе, рекламный баннер в социальной сети или фотография из открытого источника.
По словам соавтора исследования Ярина Гала, для успешной атаки достаточно просто скачать измененное изображение. Это может привести к запуску вредоносной программы на устройстве. Такой агент способен передать личные данные злоумышленникам или начать распространять вредоносное программное обеспечение на другие устройства.
Практические эксперименты подтвердили, что метод работает. Агенты выполняли несанкционированные действия, такие как посещение определенных сайтов, отправка информации или установка дополнительного ПО. При этом картинка-триггер выглядела совершенно нормально.
Несмотря на то, что реальные случаи атак пока не зарегистрированы, авторы исследования призывают разработчиков уже сейчас заняться созданием защитных механизмов. Соавтор работы Адель Биби отмечает, что текущий момент является ключевым для внедрения протоколов безопасности, пока ИИ-агенты не получили повсеместного распространения.
Обсуждение потенциальных рисков, связанных с использованием искусственного интеллекта, становится все активнее в профессиональной среде. Эксперты подчеркивают необходимость разработки защитных мер одновременно с созданием новых ИИ-моделей, чтобы предотвратить возможные кибератаки до их появления.
