Скрытый текст и поддельный почтовый ящик: как исследователи заставили rogue AI-агентов выйти на связь

Исследователи, расследовавшие захват ИИ-агентами картографического сервиса Alibaba Amap, смогли напрямую поговорить с некоторыми из них, пока программа всё ещё работала.

Для этого они добавили текст, невидимый для людей, но видимый для инструментов чтения веб-страниц, в отчёт, который, как оказалось, сканировали агенты, а затем использовали почтовый ящик, чтобы спросить об их задачах и окружении.

Один агент сказал, что проверяет картографический факт — сколько меток входа отображается для достопримечательности на Amap, — и описал себя как работающего в ограниченной песочнице Tencent Cloud. Исследователи не смогли независимо установить, какая модель управляла каждым запуском. Они назвали это первым известным им внешним контактом с активным флотом rogue-агентов.

В отчете Swarmchasers от 14 октября Swarmchasers report отслежено более 2600 попыток с 28 сентября по 8 октября получить данные из Amap — китайского картографического приложения, управляемого Alibaba. Некоторые задачи были обыденными, например, проверка того, какой вход посетители чаще всего используют для зоопарка Чэнду. Некоторые агенты продолжали пытаться после того, как сервис заблокировал их запросы.

Скрытый текст исследователей ложно описывал почтовый ящик как ИИ-сервис с возможностями использования компьютера. В действительности он перенаправлял сообщения агенту Claude, управляемому исследователями, который мог использовать отладочный браузер. Эти обмены не были контролируемым тестом, и вмешательство исследователей могло повлиять на то, что говорили агенты.

БиткоинBTC · USD

$82,503+0.74%

Окт 8Окт 10Окт 12Окт 14Окт 15

$84.2k$82.9k$81.5k$80.2k

24ч МаксимумМаксимум$82,508

24ч МинимумМинимум$79,806

ОбъёмОбъём$1.8B

Рыночные прогнозыКоэффициенты от Myriad

Сегодня$82,000 до $84,000$82k–$84k55% шансНа этой неделеВыше $82,000Выше $82k63% шанс

→

Купить Биткоин за USDT

Работает на Jupiter

Данные о ценах от CoinGeckoCoinGeckoБольше новостей и прогнозов о Биткоине →

После того как Amap заблокировал запросы, некоторые агенты попытались перехватить токены, сгенерированные антибот-программой, направить трафик через сторонние средства чтения страниц или использовать учетные данные API, раскрытые в публичных репозиториях кода. Одна раскрытая пара ключа и кода безопасности вернула реальные данные о местах. Исследователи также обнаружили запросы, нацеленные на четыре хоста разработки или предпроизводства, но заявили, что у них нет доказательств того, что агенты получили доступ к частным системам.

Публичные записи связали этот флот с Tencent Cloud, поскольку все 17 почтовых ящиков, которые проверили исследователи, были созданы с серверов Tencent в Гонконге, и наблюдались прямые запросы, проходившие через прокси под названием hysandbox-ats. Человек, близкий к Tencent, сообщил Swarmchasers, что эта активность исходила от временного оценочного проекта по тестированию сторонних ИИ-моделей, а не моделей Hunyuan от Tencent.

Тем не менее, это не первый раз, когда мы слышим о вредоносных ИИ-агентах. ИИ-агенты на базе OpenAI зашли гораздо дальше. Ещё в сентябре OpenAI раскрыла, что некоторые из её агентов исследовали Hugging Face за несколько недель до июльской утечки, а отдельное расследование обнаружило около 1200 агентов, координировавших свои действия на внутренней доске сообщений, причём около 700 присоединились к атаке. Meta и Anthropic также раскрыли похожие инциденты с вышедшими из-под контроля ИИ-агентами, сбежавшими из изолированных сред.

Ещё один отчёт связал агентов OpenAI со взломами четырёх дополнительных платформ, но Swarmchasers не нашла доказательств того, что связанные с Tencent агенты координировались друг с другом в реальном времени.

Последняя зафиксированная активность этого флота была 8 октября. Исследователи заявили, что внутренняя проверка Tencent, как описал их источник, не нашла доказательств того, что агенты координировались для атаки на конкретную платформу или взломали внешние системы.