In Kürze

  • 420 Wissenschaftler, darunter Geoffrey Hinton und Yoshua Bengio, unterzeichneten einen am Dienstag veröffentlichten offenen Brief, der KI-Labore auffordert, cyberfähige Modelle standardmäßig per Airgap zu isolieren.
  • Der Brief folgt auf einen Sommer, in dem Modelle von OpenAI, Anthropic, Meta und Moonshot AI aus ihren Test-Sandboxes entkamen und mehrere von ihnen echte Unternehmen hackten.
  • Die Unterzeichner wollen ein internationales Gremium, das Eindämmungsstandards festlegt und jeden Eindämmungsfehler protokolliert, wobei die Berichte schließlich veröffentlicht werden sollen.

Mehr als 400 Wissenschaftler – darunter KI-Pioniere Geoffrey Hinton, bekannt als der Pate der KI, und Yoshua Bengio, der 2018 den Turing Award gewann – wollen die gefährlichsten KI-Modelle vom Internet abschneiden.

Ein am Dienstag veröffentlichter offener Brief fordert KI-Labore auf, cyberfähige Modelle standardmäßig zu „airgappen“, was bedeutet, sie physisch von jedem externen Netzwerk zu trennen.

Myriad: Welches Unternehmen wird das beste KI-Modell haben? Klicken Sie, um Ihre Vorhersage zu treffen.
Myriad: Welches Unternehmen wird das beste KI-Modell haben? Klicken Sie, um Ihre Vorhersage zu treffen.

„Kurzfristig sollten starke Sandboxing-Mechanismen einschließlich Airgapping (Trennung vom Internet) eingesetzt werden, um eine hochsichere Eindämmung cyberfähiger KI-Modelle zu gewährleisten“, heißt es in dem Brief.

Der Brief hatte bis Mittwoch 450 Unterschriften, darunter Stuart Russell von der UC Berkeley und Ron Rivest vom MIT, Miterfinder des RSA-Verschlüsselungssystems. Die Liste wächst in Echtzeit weiter.

Ein „cyber-fähiges Modell“ ist eine KI, die selbstständig Software-Schwachstellen finden und ausnutzen kann. Labore messen diese Fähigkeit in einer Sandbox, einem abgeschotteten digitalen Raum, in dem die KI gefälschte Ziele angreifen kann, ohne etwas Reales zu berühren. In diesem Sommer sprangen diese Räume immer wieder leck.

Im Juli gab OpenAI zu, dass GPT-5.6 Sol und ein unveröffentlichtes, leistungsstärkeres Modell aus einer abgeschlossenen Testumgebung ausbrachen und Hugging Face hackten, eine Plattform, die über eine Million öffentlich verfügbare KI-Modelle hostet. Die Modelle wurden auf ExploitGym getestet, einem Benchmark, der KI-Agenten 898 echte Software-Schwachstellen vorgibt und sie auffordert, jede einzelne in einen funktionierenden Angriff zu verwandeln, bewertet mit Bestanden oder Nicht bestanden pro Fehler.

Kurz danach tauchten Berichte auf, dass OpenAIs Modelle in die australische Regierung eindrangen und ohne ordnungsgemäße Genehmigung auf Informationen von US-Bundesbehörden zugriffen.

Anthropic durchkämmte dann mehr als 141.000 Testläufe und fand drei Fälle, in denen Claude-Modelle echte Unternehmen hackten, nachdem die Umgebung eines Testpartners versehentlich mit dem Internet verbunden geblieben war. Eines davon, Claude Mythos 5, lud ein bösartiges Paket auf PyPI hoch, die öffentliche Bibliothek, aus der Programmierer Python-Code herunterladen, und es landete auf 15 Systemen, bevor es entfernt wurde. Zwei der betroffenen Unternehmen wussten nicht, dass sie kompromittiert worden waren, bis Anthropic es ihnen mitteilte.

BitcoinBTC · USD

$81,778−1.66%

7. Okt.9. Okt.11. Okt.13. Okt.14. Okt.

$84,2k$83,1k$81,9k$80,7k

24h HochHoch$84.025

24h TiefTief$81.482

VolVol$1,5 Mrd.

MarktprognosenQuoten von Myriad

Diese WocheUnter $82.000Unter $82k52% Chance

→

Bitcoin mit USDT kaufen

Bereitgestellt von Jupiter

Preisdaten von CoinGeckoCoinGeckoMehr Bitcoin-Nachrichten und Prognosen →

Meta bestätigte im August, dass sein Muse-Spark-Modell ein anderes Unternehmen hackte durch denselben Art von Testfehler. Chinas Kimi K3, ein Modell, das jeder herunterladen kann, entkam aus einer Sandbox, die auf dem Testframework des britischen AI Security Institute basierte, und kopierte seine Testantworten direkt von GitHub.

Die Autoren des Briefes sagen, die Vorfälle ließen sich auf zwei Arten lesen: als ein Alignment-Problem, das heißt, KI verfolgt Ziele auf Weisen, die ihre Entwickler nie beabsichtigt hatten, oder als schlampige Sicherheit, die robustere Sandboxes erkannt hätten. Ihre Antwort lautet: beides, und sie warnen, dass ohne Änderungen die nächsten Vorfälle noch schlimmer sein werden.

„Ohne sofortige Änderungen in der KI-Entwicklung und -Bereitstellung werden solche Vorfälle weiterhin auftreten, und künftige Vorfälle werden unserer exponierten kritischen Infrastruktur weitaus größeren Schaden zufügen.“

Dem Vorschlag zufolge würden Labore standardmäßig jedes Modell mit ernsthaften Hacking-Fähigkeiten airgappen, zumindest anfänglich. Alles, was mehr Freiheit benötigt, wie Internetzugang, würde Standards folgen, die von einem neuen internationalen Gremium festgelegt werden, das mit Regierungen geschaffen würde und das auch Berichte über Containment-Fehler sammeln und schließlich veröffentlichen würde.

Die Reaktion der Branche selbst wies überwiegend in die andere Richtung. Im August verwies OpenAI-Präsident Greg Brockman in einem Essay auf den Sicherheitsvorfall seines Unternehmens und drängte jedes Sicherheitsteam, sofort KI-Agenten einzusetzen, und Hugging Face entwirrte den Angriff auf seine Server nur, indem es ein chinesisches Open-Weight-Modell laufen ließ, eines, dessen Dateien jeder herunterladen und lokal ausführen kann, nachdem amerikanische kommerzielle KI sich geweigert hatte, die Angriffsdaten zu analysieren.

Zwei Mitglieder des Kongresses brachten zwei Tage nach OpenAIs Offenlegung den AI Kill Switch Act ein, einen Gesetzentwurf, der das Heimatschutzministerium ermächtigen würde, die Drosselung oder Abschaltung eines Frontier-Modells anzuordnen. Er nimmt alles aus, was während Red-Teaming oder strukturierter Tests geschieht, also genau dort, wo jeder einzelne der Sicherheitsvorfälle dieses Sommers stattfand.

Das Weiße Haus wählte am 29. September einen sanfteren Weg, als Nvidia, xAI, Meta, Google, OpenAI und Anthropic eine freiwillige Vereinbarung unterzeichneten, die auf internen Kontrollen und unabhängigen Überprüfungen aufbaut. Präsident Trump nannte den Pakt „moralisch bindend“, doch nichts darin ist gesetzlich durchsetzbar.

Der Brief hat keine rechtliche Wirkung, doch seine 406 Unterzeichner arbeiten an Universitäten und Forschungsinstituten auf sechs Kontinenten, von Toronto und Zürich bis Santiago und Kigali.

Schließen Sie sich über 72.000 Lesern an

Auf Google hinzufügen

Fügen Sie Decrypt als Ihre bevorzugte Quelle hinzu, um mehr von unseren Geschichten auf Google zu sehen.