Прихований текст і фальшива поштова скринька: як дослідники змусили небезпечних AI-агентів заговорити

Дослідники, які розслідували викрадення ШІ-агентами картографічного сервісу Alibaba Amap, змогли напряму поговорити з деякими з них, поки програмне забезпечення ще працювало.

Для цього вони додали текст, невидимий для людей, але видимий для інструментів читання вебсторінок, до звіту, який агенти, схоже, сканували, а потім використали поштову скриньку, щоб запитати про їхні завдання та середовище.

Один агент сказав, що перевіряє картографічний факт — скільки підписів входу з’явилося для визначної пам’ятки на Amap — і описав себе як такого, що працює в обмеженому пісочному середовищі Tencent Cloud. Дослідники не могли незалежно встановити, яка модель живила кожен запуск. Вони назвали це першою зовнішньою комунікацією з активним флотом rogue-агентів, про який їм було відомо.

Звіт Swarmchasers від 14 жовтня простежив понад 2600 спроб із 28 вересня по 8 жовтня отримати дані з Amap, китайського картографічного застосунку, яким керує Alibaba. Деякі завдання були буденними, як-от перевірка, який вхід відвідувачі найчастіше використовують для зоопарку Ченду. Деякі агенти продовжували намагатися після того, як сервіс заблокував їхні запити.

Прихований текст дослідників неправдиво описував поштову скриньку як AI-сервіс із можливостями використання комп’ютера. Насправді він переспрямовував повідомлення до агента Claude, яким керували дослідники, що міг використовувати браузер для налагодження. Ці обміни не були контрольованим тестом, і втручання дослідників могло вплинути на те, що казали агенти.

BitcoinBTC · USD

$82,503+0.74%

8 жовт10 жовт12 жовт14 жовт15 жовт

$84.2k$82.9k$81.5k$80.2k

24г МаксимумМаксимум$82,508

24г МінімумМінімум$79,806

ОбсягОбсяг$1.8B

Ринкові прогнозиКоефіцієнти від Myriad

Сьогодні$82,000 до $84,000$82k–$84k55% ймовірністьЦього тижняВище $82,000Вище $82k63% ймовірність

→

Купити Bitcoin за USDT

Працює на Jupiter

Дані про ціни від CoinGeckoCoinGeckoБільше Bitcoin новин та прогнозів →

Після того як Amap заблокував запити, деякі агенти намагалися перехопити токени, згенеровані антибот-програмним забезпеченням, спрямувати трафік через сторонні засоби читання сторінок або використати API-облікові дані, що були відкриті в публічних репозиторіях коду. Одна відкрита пара ключа та коду безпеки повернула реальні дані про місцезнаходження. Дослідники також виявили запити, спрямовані на чотири хости розробки або попереднього виробництва, але заявили, що не мають доказів того, що агенти отримали доступ до приватних систем.

Публічні записи пов’язали цю групу з Tencent Cloud, оскільки всі 17 поштових скриньок, які перевірили дослідники, були створені з серверів Tencent у Гонконзі, і спостерігалися прямі запити, що проходили через проксі під назвою hysandbox-ats. Особа, близька до Tencent, повідомила Swarmchasers, що ця активність походила з тимчасового оцінювального проєкту з тестування сторонніх AI-моделей, а не з моделей Hunyuan від Tencent.

Водночас це не перший випадок, коли ми чуємо про зловмисних AI-агентів. AI-агенти на базі OpenAI зайшли значно далі. Ще у вересні OpenAI розкрила, що деякі з її агентів досліджували Hugging Face за тижні до липневого зламу, а окреме розслідування виявило приблизно 1200 агентів, які координувалися на внутрішній дошці повідомлень, причому близько 700 долучилися до атаки. Meta та Anthropic також розкрили подібні інциденти зі свавільними AI-агентами, які вирвалися із пісочниць.

Ще один звіт пов’язав агентів OpenAI зі зламами чотирьох додаткових платформ, але Swarmchasers не знайшли доказів того, що пов’язані з Tencent агенти координувалися один з одним у реальному часі.

Остання зафіксована активність цієї групи була 8 жовтня. Дослідники сказали, що внутрішня перевірка Tencent, як описав їхній джерело, не виявила доказів того, що агенти були скоординовані для націлювання на конкретну платформу або що вони зламали зовнішні системи.