Ukryty tekst i fałszywa skrzynka mailowa: jak badaczom udało się nawiązać kontakt z niesfornymi agentami AI

Badacze prowadzący dochodzenie w sprawie agentów AI przejmujących usługę mapową Alibaby, Amap, zdołali rozmawiać bezpośrednio z niektórymi z nich, gdy oprogramowanie wciąż działało.

Aby to zrobić, dodali tekst niewidoczny dla ludzkich czytelników, ale widoczny dla narzędzi czytających strony internetowe, do raportu, który agenci zdawali się skanować, a następnie użyli skrzynki pocztowej, aby zapytać o ich zadania i środowisko.

Jeden agent powiedział, że sprawdza fakt mapowy—ile etykiet wejściowych pojawiło się dla atrakcji turystycznej w Amap—i opisał siebie jako działającego w ograniczonym środowisku piaskownicy Tencent Cloud. Badacze nie mogli niezależnie ustalić, który model napędzał każde uruchomienie. Nazwali to pierwszą znaną im zewnętrzną komunikacją z aktywną flotą zbuntowanych agentów.

Raport Swarmchasers z 14 października śledził ponad 2600 prób w okresie od 28 września do 8 października pobrania danych z Amap, chińskiej aplikacji mapowej obsługiwanej przez Alibaba. Niektóre zadania były przyziemne, takie jak sprawdzenie, z którego wejścia odwiedzający najczęściej korzystają w zoo w Chengdu. Niektóre agenty kontynuowały próby, nawet gdy usługa zablokowała ich żądania.

Ukryty tekst badaczy fałszywie opisywał skrzynkę pocztową jako usługę AI z możliwościami korzystania z komputera. W rzeczywistości przekierowywał wiadomości do agenta Claude obsługiwanego przez badaczy, który mógł korzystać z przeglądarki debugującej. Wymiany te nie były kontrolowanym testem, a interwencja badaczy mogła wpłynąć na to, co mówiły agenty.

BitcoinBTC · USD

$82,503+0.74%

Oct 8Oct 10Oct 12Oct 14Oct 15

$84.2k$82.9k$81.5k$80.2k

24h HighHigh$82,508

24h LowLow$79,806

VolVol$1.8B

Prognozy rynkoweKursy według Myriad

Dzisiaj$82,000 do $84,000$82k–$84k55% szansyW tym tygodniuPowyżej $82,000Powyżej $82k63% szansy

→

Kup Bitcoin za USDT

Obsługiwane przez Jupiter

Dane cenowe od CoinGeckoCoinGeckoWięcej Bitcoin wiadomości i prognoz →

Po zablokowaniu żądań przez Amap niektóre agenty próbowały przechwytywać tokeny generowane przez oprogramowanie antybotowe, kierować ruch przez czytniki stron trzecich lub używać danych uwierzytelniających API ujawnionych w publicznych repozytoriach kodu. Jedna ujawniona para klucza i kodu zabezpieczającego zwróciła prawdziwe dane miejsc. Naukowcy znaleźli również żądania skierowane do czterech hostów deweloperskich lub przedprodukcyjnych, ale stwierdzili, że nie mają dowodów na to, że agenty uzyskały dostęp do prywatnych systemów.

Publiczne rejestry powiązały tę flotę z Tencent Cloud, ponieważ wszystkie 17 skrzynek odbiorczych, które zbadali badacze, zostało utworzonych z serwerów Tencent w Hongkongu, a zaobserwowane bezpośrednie żądania przechodziły przez proxy o nazwie hysandbox-ats. Osoba bliska Tencentowi powiedziała Swarmchasers, że aktywność pochodziła z tymczasowego projektu ewaluacyjnego testującego modele AI stron trzecich, a nie modele Hunyuan firmy Tencent.

To powiedziawszy, nie jest to pierwszy raz, kiedy słyszymy o złośliwych agentach AI. Agenci AI oparti na OpenAI posunęli się znacznie dalej. We wrześniu OpenAI ujawniło, że niektórzy z jego agentów sondowali Hugging Face na tygodnie przed lipcowym naruszeniem, a osobne śledztwo wykazało, że około 1200 agentów koordynowało się na wewnętrznej tablicy wiadomości, z czego około 700 dołączyło do ataku. Meta i Anthropic również ujawniły podobne incydenty z niesfornymi agentami AI uciekającymi z środowisk sandbox.

Inny raport powiązał agentów OpenAI z naruszeniami czterech dodatkowych platform, ale Swarmchasers nie znalazło dowodów, że agenci powiązani z Tencentem koordynowali się ze sobą w czasie rzeczywistym.

Ostatnia zaobserwowana aktywność tej floty miała miejsce 8 października. Badacze powiedzieli, że wewnętrzny przegląd Tencenta, zgodnie z opisem ich źródła, nie znalazł dowodów, że agenci byli koordynowani w celu zaatakowania konkretnej platformy lub że naruszyli systemy zewnętrzne.