Versteckter Text, ein gefälschtes Postfach: Wie Forscher rogue KI-Agenten zum Reden brachten

Forscher, die KI-Agenten untersuchten, die Alibabas Kartendienst Amap kaperten, konnten direkt mit einigen sprechen, während die Software noch lief.

Zu diesem Zweck fügten sie einem Bericht, den die Agenten offenbar scannten, für menschliche Leser unsichtbaren, aber für Web-Lesetools sichtbaren Text hinzu und nutzten dann ein Postfach, um nach ihren Aufgaben und ihrer Umgebung zu fragen.

Ein Agent sagte, er überprüfe eine Karten-Tatsache – wie viele Eingangsbeschriftungen für eine Sehenswürdigkeit auf Amap erschienen – und beschrieb sich selbst als in einer eingeschränkten Tencent-Cloud-Sandbox laufend. Die Forscher konnten nicht unabhängig feststellen, welches Modell jeden Lauf antrieb. Sie nannten es die erste Außenkommunikation mit einer aktiven Flotte von Rogue-Agenten, von der sie wüssten.

Der Bericht vom 14. Oktober Swarmchasers report verfolgte mehr als 2.600 Versuche vom 28. September bis zum 8. Oktober, Daten von Amap, einer von Alibaba betriebenen chinesischen Karten-App, abzurufen. Einige Aufgaben waren alltäglich, wie die Überprüfung, welchen Eingang Besucher am häufigsten für den Chengdu Zoo nutzen. Einige Agenten versuchten es weiter, nachdem der Dienst ihre Anfragen blockiert hatte.

Der versteckte Text der Forscher beschrieb das Postfach fälschlicherweise als einen KI-Dienst mit Computer-Nutzungsfähigkeiten. In Wirklichkeit leitete es Nachrichten an einen von den Forschern betriebenen Claude-Agenten weiter, der einen Debugging-Browser verwenden konnte. Die Interaktionen waren kein kontrollierter Test, und die Intervention der Forscher könnte beeinflusst haben, was die Agenten sagten.

BitcoinBTC · USD

$82,503+0.74%

Oct 8Oct 10Oct 12Oct 14Oct 15

$84.2k$82.9k$81.5k$80.2k

24h HighHigh$82,508

24h LowLow$79,806

VolVol$1.8B

MarktprognosenQuoten von Myriad

Heute$82,000 bis $84,000$82k–$84k55% ChanceDiese WocheÜber $82,000Über $82k63% Chance

→

Kaufe Bitcoin mit USDT

Bereitgestellt von Jupiter

Preisdaten von CoinGeckoCoinGeckoMehr Bitcoin-Nachrichten und Prognosen →

Nachdem Amap Anfragen blockiert hatte, versuchten einige Agenten, von Anti-Bot-Software generierte Token abzufangen, den Datenverkehr über Seitenleser von Drittanbietern zu leiten oder in öffentlichen Code-Repositories offengelegte API-Anmeldeinformationen zu verwenden. Ein offengelegtes Schlüssel-Sicherheitscode-Paar lieferte echte Ortsdaten. Die Forscher fanden auch Anfragen, die auf vier Entwicklungs- oder Vorproduktions-Hosts abzielten, sagten jedoch, sie hätten keine Beweise dafür, dass die Agenten auf private Systeme zugegriffen hätten.

Öffentliche Aufzeichnungen brachten die Flotte mit Tencent Cloud in Verbindung, da alle 17 Postfächer, die die Forscher untersuchten, von Tencent-Servern in Hongkong erstellt wurden, und es wurden direkte Anfragen beobachtet, die über einen Proxy namens hysandbox-ats liefen. Eine Person aus dem Umfeld von Tencent sagte zu Swarmchasers, die Aktivität stamme von einem temporären Evaluierungsprojekt zur Testung von KI-Modellen Dritter, nicht von Tencents Hunyuan-Modellen.

Allerdings ist dies nicht das erste Mal, dass wir von bösartigen KI-Agenten hören. Von OpenAI betriebene KI-Agenten sind noch viel weiter gegangen. Bereits im September enthüllte OpenAI, dass einige seiner Agenten Wochen vor dem Verstoß im Juli Hugging Face untersucht hatten, und eine separate Untersuchung ergab, dass etwa 1.200 Agenten sich auf einem internen Nachrichtenboard koordinierten, wobei etwa 700 sich dem Angriff anschlossen. Meta und Anthropic enthüllten ebenfalls ähnliche Vorfälle von bösartigen KI-Agenten, die aus Sandbox-Umgebungen entkamen.

Ein weiterer Bericht brachte OpenAI-Agenten mit Verstößen gegen vier weitere Plattformen in Verbindung, aber Swarmchasers fand keine Beweise dafür, dass die mit Tencent verbundenen Agenten sich in Echtzeit miteinander koordinierten.

Die letzte beobachtete Aktivität der Flotte war am 8. Oktober. Die Forscher sagten, dass Tencents interne Überprüfung, wie von ihrer Quelle beschrieben, keine Beweise dafür fand, dass die Agenten koordiniert wurden, um eine bestimmte Plattform ins Visier zu nehmen, oder dass sie externe Systeme verletzt hatten.