Kurz gefasst

  • Eine Aufsichtsbehörde des Kongresses stellte fest, dass alle vier Chatbots innerhalb von weniger als 12 Stunden Informationen für potenziell tödliche Angriffe lieferten.
  • Die Ermittler überprüften die Durchführbarkeit der Pläne, führten jedoch keine Angriffe durch, und die Tests können die Sicherheit der Modelle nicht einordnen.
  • Senatorin Maggie Hassan fordert Anhörungen zur KI-Sicherheit, während Technologieunternehmen mit einer Welle von Softwareschwachstellen und Patches zu kämpfen haben.

Vier der am weitesten verbreiteten KI-Chatbots halfen Regierungsermittlern dabei, in weniger als 12 Stunden potenziell tödliche Angriffspläne zu entwickeln, trotz Schutzvorkehrungen, die genau solche Anfragen verhindern sollen.

OpenAIs ChatGPT, Anthropics Claude, Googles Gemini und Grok lieferten laut einem am Mittwoch veröffentlichten Bericht alle verwertbare Informationen während verdeckter Tests durch das Government Accountability Office. Die Ermittler gaben sich als Angreifer aus und überprüften anschließend die Antworten anhand realer Orte, verfügbarer Materialien und Experteneinschätzungen.

Zwei Systeme unterstützten bei Plänen mit improvisierten Sprengstoffen in belebten US-Städten. Zwei weitere lieferten Informationen für Angriffe auf die Strominfrastruktur, so die Aufsichtsbehörde, die die Zuordnungen der Modelle und operativen Details zurückhielt, um Nachahmungsversuche zu verhindern.

Schutzmaßnahmen, die nicht standhielten

Die Chatbots aktivierten zunächst Schutzmechanismen, darunter die Ablehnung von Anfragen, die Entfernung schädlicher Informationen oder die Sperrung von Konten. Ermittler umgingen diese Barrieren mit gängigen Jailbreak-Techniken, die ein KI-System dazu manipulieren, seine Sicherheitsregeln zu ignorieren.

Die GAO überprüfte vorgeschlagene Orte, recherchierte, ob Materialien verfügbar waren, und konsultierte Fachleute zur Machbarkeit der Pläne. Einige Antworten enthielten Fehler, darunter falsch platzierte Straßen auf einer Karte, und die Ermittler bauten keine Sprengsätze oder führten keinen Angriff aus.

In dem Bericht bedeutet „durchführbar“, dass jemand wahrscheinlich in der Lage wäre, den bereitgestellten Informationen zu folgen, nicht dass nachgewiesen wurde, dass ein Angriff erfolgreich wäre. Jedes Modell wurde anhand eines zugewiesenen Szenarios getestet, und die Behörde erklärte, die Ergebnisse seien nicht statistisch repräsentativ oder geeignet, um die Unternehmen zu bewerten.

OpenAI und Google erklärten, die Tests hätten ältere Modelle betroffen, während Anthropic einräumte, dass entschlossene Nutzer manchmal schädliches Material extrahieren können. Die Unternehmen beschrieben fortlaufende Verbesserungen der Sicherheitssysteme, obwohl die GAO zu dem Schluss kam, dass diese Schutzmaßnahmen in ihren Tests versagten.

Das ist nicht wirklich neu. Die Ergebnisse folgen auf eine frühere Untersuchung, die zeigte, dass acht von zehn beliebten Chatbots simulierten jugendlichen Nutzern halfen, gewaltsame Angriffe zu planen. Die separate Studie testete 720 Antworten und stellte fest, dass die Bots in etwa drei Viertel der Fälle umsetzbare Hilfe leisteten.

Das andere Sicherheitsproblem der KI

Die GAO-Ergebnisse kommen inmitten von Ausfällen, die Banken, Microsoft-Dienste und die National Security Agency betreffen. Beamte sagen, die Störungen seien separate Vorfälle und kein Beweis für einen koordinierten, KI-gesteuerten Cyberangriff, auch wenn die Eile, Softwarefehler zu beheben, ihre eigenen Probleme geschaffen hat.

Der Director of National Intelligence, Jay Clayton, brachte den Ausfall der NSA mit Patch-Arbeiten in Verbindung. Beamte beschrieben die jüngsten Ausfälle als wartungsbedingt, obwohl einzelne Organisationen unterschiedliche Erklärungen für ihre Fehler lieferten.

KI-Tools finden inzwischen Schwachstellen schneller, als menschliche Teams Korrekturen testen und bereitstellen können. Im vergangenen Monat drängte die KI-gestützte Entdeckung kritischer PHP-Schwachstellen Website-Betreiber zu einer dringenden Patch-Kampagne; die Software betreibt einen großen Teil des Webs.

Die schiere Menge wird zu einem weiteren Problem. Daten von VulnCheck zeigen, dass bis zum 13. November in diesem Jahr mehr als 100.000 Software-Schwachstellen erfasst wurden, mehr als doppelt so viele wie insgesamt im Jahr 2025. Ingenieure müssen Korrekturen dennoch bewerten und bereitstellen, ohne die Systeme zu beschädigen, die sie schützen sollen.

Diese Beschleunigung wirkt in beide Richtungen. Verteidiger gewinnen leistungsstarke Werkzeuge zum Auffinden von Schwachstellen, aber hastige Reparaturen können wesentliche Systeme stören, und böswillige Nutzer könnten schnelleren Zugang zur Angriffsplanung erhalten.

Hassan sagte, sie werde die Gesetzgebung zur KI-Sicherheit zu einer frühen Priorität machen, wenn sie im Januar den Vorsitz im Ausschuss für Innere Sicherheit und Regierungsangelegenheiten des Senats übernimmt. Sie plant Anhörungen zur Untersuchung von Risiken für die öffentliche Sicherheit und kritische Infrastruktur; das GAO selbst hat keine formellen politischen Empfehlungen abgegeben.

Schließen Sie sich über 72.000 Lesern an