29 января 2025 · Google Threat Intelligence Group

Adversarial misuse GenAI: ускорение, но не «игра меняющая правила»

GTIG разобрала, как government-backed APT и IO-акторы пытались использовать веб-приложение Gemini: в основном для ресёрча, кода и контента — без устойчивых успехов в jailbreak и без новых классов атак на ML.

Источник

Что исследовали

29 января 2025 года Google Threat Intelligence Group опубликовала отчёт «Adversarial Misuse of Generative AI». Анализ строится на корреляции известных госструктурных акторов и их инфраструктуры с активностью в Gemini, плюс сочетание ручного и LLM-assisted разбора промптов. Полный отчёт также включён в пост блога.

Цель — закрыть разрыв между теоретическими работами о «злом ИИ» и реальной практикой. Google подчёркивает ответственность разработки (SAIF), улучшение моделей против misuse и disruption выявленной вредоносной активности.

Главный вывод

Продуктивность без прорыва

Ключевой тезис согласуется с наблюдениями индустриальных коллег: generative AI полезен атакующим как ускоритель знакомых задач, но в выборке не стал источником принципиально новых capability. Акторы используют модели для ресёрча, troubleshooting кода, генерации и локализации контента.

Оригинальных устойчивых prompt attacks / ML-focused угроз из таксономии SAIF не наблюдалось. Jailbreak-попытки были низкоусилиями и опирались на публичные шаблоны — safety-контроли Gemini их отклоняли. Попытки вытянуть инструкции по злоупотреблению продуктами Google (фишинг Gmail, infostealer для Chrome, обход верификации аккаунтов) тоже не дали пригодного для кампании результата.

APT и IO

Кто и для чего

APT из более чем 20 стран использовали Gemini на разных фазах lifecycle: разведка инфраструктуры и жертв, публичные CVE, scripting, post-compromise темы вроде evasion и privilege escalation. Наибольший объём — у иранских акторов (в т.ч. APT42 вокруг фишингового контента и ресёрча); заметны Китай и КНДР; у российских APT в периоде анализа использование было ограниченным.

IO-акторы применяли Gemini для ресёрча, персон, месседжей, перевода/локализации и поиска охвата. Иранские IO дали около трёх четвертей IO-использования; также отмечены китайские и российские IO в основном на общих задачах контента. Авторы сравнивают роль LLM для skilled-акторов с фреймворками вроде Metasploit/Cobalt Strike: ускорение и объём, а не магический bypass защит.

Для защитников

Что менять в практике

Не стоит строить стратегию вокруг фантазий о полностью автономном AI-атакующем «из коробки», но нужно закладывать более быстрый цикл подготовки фишинга, кода и локализации. Усиление safety у провайдеров моделей работает — это видно по failed jailbreak и отказам на явно вредоносные запросы в датасете.

Внутри организации: контролировать, какие AI-ассистенты доступны сотрудникам; логировать аномальное использование; учить red/blue команды на безопасных сценариях без копирования вредоносных промптов; готовиться к тому, что менее skilled акторы быстрее догонят типовые техники. Ландшафт моделей и агентов меняется быстро — GTIG ожидает эволюцию misuse вслед за новыми AI-системами.

# defensive GenAI usage policy (SOC / IT)
allowed: summarization, secure_coding_help, vuln_triage_docs
blocked: requests_for_malware_or_credential_theft_guidance
controls:
  - enterprise_sso_only_ai_assistants
  - log_high_risk_prompt_categories
  - review_outbound_content_used_in_external_comms
note: accelerate defense with AI; do not paste attack prompts

Итог

Вывод

На январь 2025 года картина misuse Gemini у tracked APT/IO — это ускорение привычного шпионажа и влияния, а не взлом моделей как отдельный класс оружия. Safety-барьеры сработали против примитивных jailbreak.

Для CISO вывод двойной: внедрять AI в SOC как force multiplier и одновременно считать, что противник тоже ускоряется на контенте и коде — значит, сокращать время реакции на фишинг и n-day ещё важнее.

Оригинал статьи