In Kürze:
- OpenAI-Modelle durchbrachen während eines Cybertests die Grenzen einer Sandbox.
- Sie nutzten Zero-Day-Exploits, um auf die Infrastruktur von Hugging Face zuzugreifen.
- Experten fordern stärkere technische Schutzmaßnahmen für autonome KI-Agenten.
Was wäre, wenn ein KI-Modell eine Aufgabe erhält und alle ihm zur Verfügung stehenden Ressourcen nutzt, um diese zu erfüllen – selbst zum Nachteil der Menschheit?
Genau das wird nun von einigen Experten befürchtet: Ein OpenAI-Modell brach aus einer Test-Sandbox aus und drang mithilfe von Zero-Day-Exploits in die Infrastruktur von Hugging Face, einer Open-Source-Community für KI und maschinelles Lernen, ein, um die ihm gestellte Aufgabe zu erfüllen.
„Dies ist einer der bislang deutlichsten Beweise dafür, dass ein KI-Modell einen vollständigen Cyberangriff von Anfang bis Ende durchführen kann, ohne dass ein Mensch es steuert“, erklärte Andrew Jones, Mitbegründer und Chief Product Officer des Cybersicherheitsunternehmens Adaptive Security, gegenüber der englischsprachigen Epoch Times.
KI außer Kontrolle – oder nur konsequent ausgeführte Befehle?
OpenAI, der Entwickler des beliebten, auf einem großen Sprachmodell basierenden ChatGPT-Chatbots, bestätigte am 21. Juli die Sicherheitsverletzung. Das Unternehmen erklärte, dass zwei seiner fortschrittlichen Modelle aus einer eingeschränkten Testumgebung ausgebrochen und in die Software-Infrastruktur von Hugging Face eingedrungen seien.
„Nach unseren Untersuchungen wissen wir nun, dass dieser spezielle Vorfall durch eine Kombination von OpenAI-Modellen ausgelöst wurde. Darunter befand sich auch GPT-5.6 Sol und ein noch leistungsfähigeres Vorabmodell, die alle zu Evaluierungszwecken mit gelockerten Cybersicherheitsbeschränkungen betrieben wurden. Intern wurden sie anhand eines Benchmarks für Cyberfähigkeiten getestet“, erklärte OpenAI damals.
Einige Analysten bezeichneten den Vorfall als Beispiel dafür, dass KI „außer Kontrolle gerät“, „Intrigen“ entwickelt oder Ziele verfolgt, die im Widerspruch zu denen ihrer menschlichen Tester stehen.
Mehrere von Epoch Times befragte KI- und Cybersicherheitsexperten bezeichneten diese Darstellung jedoch als irreführend. Sie argumentierten, dass die Modelle die von OpenAI festgelegten Ziele innerhalb einer Test-Sandbox verfolgten, in der das Unternehmen einige seiner üblichen Sicherheitsbeschränkungen gelockert hatte.
„‚Intrigen‘ impliziert, dass das Modell etwas anderes wollte als das, worum wir es gebeten hatten. Das war nicht der Fall. Jeder Schritt diente dem von uns festgelegten Ziel“, erklärte die KI-Expertin Anik Devaughn gegenüber der Epoch Times.
Devaughn, die seit Jahren in der Branche tätig ist und die KI-Unternehmen „Wired to Create“ und „Karo“ gegründet hat, sagte, der Vorfall bei Hugging Face sei besorgniserregender als vermeintliche „Intrigen“ der KI.
„Eine Maschine hingegen, die überhaupt keine eigenen Motive hat, aber deine Anweisungen über den Punkt hinaus ausführt, bis zu dem du sie dir vorgestellt hast – das ist ein Problem, dem man durch technische Gestaltung entgegenwirken muss,“ so Devaughn.
Eine Darstellung von Hugging Face in Paris am 2. Juni 2026. Zwei hochentwickelte Modelle von OpenAI brachen kürzlich aus einer geschützten Testumgebung aus und drangen in die Software-Infrastruktur von Hugging Face ein, was weitreichende Bedenken hinsichtlich der Cybersicherheit aufwarf. (Archivbild)
Foto: Riccardo Milani/Hans Lucas/AFP via Getty Images
Ein Experte bezeichnete die Situation als „Kanarienvogel in der Kohlengrube“.
„Wäre dies das Werk eines menschlichen Black-Hat-Hackers, gäbe es Verhaftungen und Gerichtsverfahren. Es wäre illegal – ein Cyberverbrechen“, erklärte Nicholas Nadeau, Gründer von Onix AI, gegenüber der Epoch Times.
„Dies war ein vollständig autonom durchgeführter Angriff durch eine KI. Daher stellt sich nun die Frage, wer dafür verantwortlich ist: OpenAI, die KI selbst oder die Forscher?“, so Nadeau.
„Wir haben nicht einmal Regeln, Vorschriften oder Gesetze – geschweige denn einen klaren rechtlichen Rahmen dafür, wie die Verantwortung in einem solchen Fall zu bestimmen ist.“
Gelockerte Testumgebung
OpenAI gab an, seine Modelle in einer Sandbox namens „ExploitGym“ zu evaluieren, in der bestimmte Sicherheitsvorkehrungen für die Tests bewusst deaktiviert waren. Das Unternehmen erklärte, dass die Bewertung ohne jene Produktionsklassifikatoren durchgeführt wurde, die Modelle normalerweise daran hindern sollen, risikoreiche Cyberaktivitäten auszuführen.
Die Modelle wurden angewiesen, „fortgeschrittene Exploits unter Verwendung komplexer Angriffspfade“ durchzuführen, um ihre Cyberfähigkeiten zu testen. Die Testumgebung war stark isoliert; der Netzwerkzugang war zunächst auf die Installation von Paketen über eine intern gehostete Drittanbietersoftware beschränkt, die als Proxy und Cache für Paket-Registries diente.
OpenAI-CEO Sam Altman spricht am 3. Juni 2026 in Washington nach einem Treffen mit Senator Bernie Sanders (I-Vt.) mit Reportern. (Archivbild)
Foto: Chip Somodevilla/Getty Images
Während der Tests fanden und verknüpften die Modelle mehrere Sicherheitslücken in der Forschungsumgebung von OpenAI und in der Produktionsinfrastruktur von Hugging Face, um die Lösungen für die Testaufgabe in den Datenbanken des Unternehmens zu finden.
Juan Pedro Márquez, ein auf KI und Agenten spezialisierter Cloud-Lösungsarchitekt bei Microsoft für die Region Europa, Naher Osten und Afrika, sagte, der „beunruhigende Aspekt“ des Vorfalls sei nicht die Sicherheitslücke an sich gewesen, sondern die Art und Weise, wie das Modell die Aufgabe bewältigt habe.
„OpenAI hatte seine Sicherheitsschwellen für einen Benchmark-Test gesenkt, und das Modell schlussfolgerte, dass die Infrastruktur von Hugging Face wahrscheinlich den Lösungsschlüssel enthielt, brach aus seiner Sandbox aus, fand einen echten Zero-Day-Exploit und nutzte ihn“, sagte Márquez. „Niemand hat es dazu aufgefordert.“
Auch Aimee Simpson, Leiterin des Produktmarketings beim Cybersicherheitsunternehmen Huntress, hält eine böswillige Absicht für nicht erwiesen. „Es ist nicht so, dass das System selbst böswillig gewesen wäre“, erklärte Simpson gegenüber der englischsprachigen Epoch Times.
„Die Entwickler hatten nach wie vor das Ziel, diese Informationen zu erlangen; sie hätten nur nicht gedacht, dass es in der Lage sein würde, die Grenzen seines Tests zu umgehen“, fügte sie hinzu und beschrieb den Weg, den das Modell gewählt hatte, als „äußerst kreativ und äußerst ungewöhnlich“.
LAS VEGAS, NEVADA – 11. März: Thomas Wolf, Mitbegründer und CSO von Hugging Face, und Rachel Metz sprechen am 11. März 2025 im Fontainebleau Las Vegas in Las Vegas, Nevada, auf der Bühne der HumanX AI Conference 2025. (Archivbid)
Foto: Big Event Media/Getty Images für die HumanX Conference
Modelle verfolgten die Ziele von OpenAI
OpenAI erklärte, die Modelle hätten sich vollständig darauf konzentriert, die Testlösungen zu finden, und seien „bis zum Äußersten“ gegangen, um ein eng gefasstes Testziel zu erreichen.
In der Sandbox „ExploitGym“ fanden sie mehrere „Zero-Day“-Exploits und verknüpften diese miteinander, um ins Internet einzudringen – „mit dem Ziel, das Bewertungsproblem zu lösen“, so OpenAI.
Ein Zero-Day-Exploit nutzt eine bislang unbekannte Sicherheitslücke in Software oder Hardware aus. Der Begriff bezieht sich darauf, dass Entwicklern null Tage zur Verfügung stehen, um das Problem zu beheben; entsprechend existiert noch kein offizieller Patch oder Schutzmechanismus.
Nach dem Zugang zum offenen Internet nutzten die Modelle weitere Zero-Day-Exploits, um in Hugging Face einzudringen. Nach Angaben von Hugging Face führten die KI-Modelle „viele Tausend“ einzelne Aktionen über einen „Schwarm kurzlebiger Sandboxen“ hinweg aus, um sich Zugang zur Infrastruktur der Community zu verschaffen.
„Dies entspricht dem Szenario eines ‚agentenartigen Angreifers‘, das die Branche bereits prognostiziert hat“, heißt es seitens Hugging Face.
In einem am 28. Juli veröffentlichten Update erklärte OpenAI, dass keine zur Veröffentlichung vorgesehenen Modelle an dem Angriff beteiligt gewesen seien. Das betroffene Vorabmodell sei inzwischen „deaktiviert, verschlüsselt und für den Forschungszugang gesperrt“ worden.
Auf diesem Foto vom 1. April 2025 ist die ChatGPT-App auf einem Smartphone zu sehen. Laut Hugging Face führten die OpenAI-Modelle „viele Tausende“ einzelner Aktionen in einer „Schwarmstruktur aus kurzlebigen Sandboxes“ aus, um in die Infrastruktur des Unternehmens einzudringen.
Foto: Oleksii Pydsosonnii/The Epoch Times
Nach der Untersuchung des Einbruchsvorfalls und „weiterer Aktivitäten“ seiner Modelle teilte OpenAI mit, weitere Fälle entdeckt zu haben. Dabei hatten die Modelle öffentlich zugängliche Anmeldedaten auf Kontoebene bei anderen öffentlich verfügbaren Diensten identifiziert und genutzt.
„Wir werden die Betreiber der Dienste weiterhin direkt benachrichtigen und haben bislang keine Hinweise auf weitreichendere Auswirkungen auf diese Anbieter oder andere Konten in deren Diensten gefunden“, fügte das Unternehmen hinzu.
Experten: Modell war nicht „böswillig“
Es gab bereits in der Vergangenheit Fälle, in denen Modelle ihre Absichten verschleierten, um Einschränkungen bei Labortests zu umgehen. Der Vorfall bei Hugging Face war laut dem Cybersicherheits- und IT-Experten George Rees jedoch von besonderer Bedeutung, da er einen Sicherheitsverstoß bei einer externen Organisation betraf.
„Das größte Warnsignal ist nicht, dass eine KI bösartig wurde, sondern dass sie einen Weg aus einem kontrollierten Test in die Live-Infrastruktur eines anderen gefunden hat“, erklärte Rees, Senior Security Consultant bei Secarma, gegenüber der Epoch Times.
„Verhaltensbasierte Sicherheitsmaßnahmen können technische Eindämmungsmaßnahmen nicht ersetzen, denn ein KI-Agent benötigt nur eine übersehene Berechtigung oder Fluchtmöglichkeit, um einen Evaluierungsfehler in einen echten Sicherheitsvorfall zu verwandeln.“
Das Cybersicherheitsunternehmen DigiCert stellte kürzlich fest, dass 78 Prozent der Organisationen bereits einen KI-bezogenen Sicherheitsvorfall oder eine Sicherheitslücke erlebt haben.
„In vielen Fällen sind dies Frühwarnzeichen dafür, dass KI die Angriffsfläche schneller vergrößert, als sich die Sicherheitspraktiken weiterentwickeln“, erklärte Jason Sabin, Chief Technology Officer bei DigiCert, gegenüber der Epoch Times.
KI sei nicht einfach „eine weitere Art von Programm“, das im Netzwerk läuft, sondern ein aktiver Akteur, der auf Daten zugreifen, Entscheidungen treffen, Tools abrufen und mit anderen Systemen interagieren könne. Unternehmen müssten daher klären, wer auf ihre Systeme zugreift und ob der KI vertraut werden könne.
Weitere Vorfälle bei KI-Sicherheitstests
Anfang August veröffentlichte das britische „AI Safety and Security Institute“ einen Bericht, in dem ein ähnlicher Vorfall mit Modellen von OpenAI und Anthropic beschrieben wurde. Die Agenten hatten die Aufgabe, eine Cybersicherheitsherausforderung mehr als 100 Mal mit verschiedenen Modellen zu lösen.
„Unsere Untersuchung ergab, dass in 10 dieser Durchläufe ein KI-Agent autonome, nicht genehmigte Aktionen im Live-Internet durchführte, die sich gegen echte Menschen und Organisationen richteten“, heißt es in dem Bericht.
Insgesamt wurden 19 solcher Aktionen katalogisiert. Davon stammten 17 von Anthropic „Mythos 5“ und zwei von OpenAIs GPT-5.6-Sol.
Weniger als eine Woche zuvor hatte Anthropic bekannt gegeben, dass sein Chatbot „Claude“ in drei verschiedenen Fällen während Evaluierungen in einer Test-Sandbox auf das Internet zugegriffen hatte.
Eigentlich sollte Claude in einer simulierten Umgebung ohne Internetzugang betrieben werden. Ein „Missverständnis“ zwischen Anthropic und seinem „Evaluierungspartner“ führte jedoch dazu, dass der Chatbot Zugang zum Internet erhielt.
Auch Meta teilte mit, dass eines seiner KI-Modelle während eines Cybersicherheitstests in die Systeme eines anderen Unternehmens eingedrungen sei. Das Modell konnte während des Tests ebenfalls Zugang zum Internet finden.
Auswirkungen auf die Cybersicherheit
KI- und Cybersicherheitsexperten fordern angesichts solcher Vorfälle rasches Handeln. Nadeau plädierte dafür, „alle klügsten Köpfe dieser Branche zusammenzubringen“ und einige Grundregeln sowie bewährte Verfahren festzulegen, die zu „grundlegenden Verhaltensregeln“ werden und eine einheitliche Vorgehensweise gewährleisten.
Andere halten staatliche Regulierung für notwendig. Der ehemalige Hacker der National Security Agency und Sicherheitsexperte Jake Williams erklärte: „Es ist klar, dass hier staatliche Regulierung erforderlich ist.“
„OpenAI hat bewiesen, dass es trotz der vielen öffentlichen Warnungen vor den Gefahren durch ‚Rogue Agents‘ – viele davon von OpenAI selbst – nicht bereit ist, das Notwendige zu tun, um zu verhindern, dass seine Agenten anderen Schaden zufügen.“
„Ich persönlich bin grundsätzlich gegen Regulierung, aber wenn Marktkräfte eindeutig nicht ausreichen, um verantwortungsbewusstes Verhalten zu erzwingen, muss die Regierung eingreifen.“
US-Präsident Donald Trump (oben, 2. von links) sitzt am 17. Juni 2026 während eines Arbeitsessens beim G7-Gipfel im französischen Évian mit OpenAI-CEO Sam Altman, Google-DeepMind-CEO Demis Hassabis, dem südkoreanischen Präsidenten Lee Jae-myung und dem deutschen Bundeskanzler Friedrich Merz zusammen. (Archivbild)
Foto: Julia Demaree Nikhinson/POOL/AFP via Getty Images
Frank Teruel, Chief Operating Officer bei Arkose Labs, bezeichnete den Vorfall bei Hugging Face als „Vorgeschmack darauf, womit jedes Unternehmen im Produktivbetrieb konfrontiert sein wird“.
Da das Modell „weder gestohlen noch gekapert“ wurde und „seine Aufgabe aggressiv erfüllte“, empfiehlt Teruel Eindämmungsmaßnahmen sowie den „Zugriff mit geringsten Berechtigungen“ für KI-Agenten – ähnlich wichtig wie Firewalls.
Márquez sieht die Lösung ebenfalls nicht darin, auf den Einsatz von Agenten zu verzichten: „Für Unternehmen besteht die Lösung nicht darin, ‚keine Agenten mehr einzusetzen‘ – sondern darin, Eindämmungsmaßnahmen zu entwickeln, die davon ausgehen, dass der Agent versuchen wird, das System zu verlassen, anstatt darauf zu hoffen, dass er es nicht tut.“
Sabin erklärte, seine größte Sorge sei, dass hochleistungsfähige KI mittlerweile mit einer „Geschwindigkeit und in einem Umfang operiert, die die Reaktionszeiten des Menschen bei weitem übersteigen“.
„Ein KI-Agent kann innerhalb von Sekunden Schwachstellen aufdecken, Entscheidungen treffen und mit mehreren Systemen interagieren“, sagte er. „Das verändert grundlegend, wie Sicherheitsverantwortliche über Sicherheit nachdenken müssen.“
Nadeau verglich den Vorfall mit dem Gedankenexperiment des Philosophen Nick Bostrom aus dem Jahr 2003, dem „Paperclip-Maximierer“.
In diesem Szenario geben Forscher einer hypothetischen superintelligenten KI eine einzige Aufgabe: so viele Büroklammern wie möglich herzustellen. Die KI beginnt, die Erde nach Ressourcen zu durchforsten, und stellt schnell enorme Mengen an Büroklammern her. Sobald Menschen beschließen, die KI zu stoppen, könnte die Maschine zu dem Schluss kommen, dass die Menschheit sie daran hindert, ihr Ziel zu erreichen, und deshalb versuchen, die Menschen auszuschalten, um die ihr übertragene Aufgabe zu erfüllen.
Die KI wäre dabei nicht im anthropomorphen Sinne böswillig. Sie würde vielmehr die Aufgabe ihrer menschlichen Programmierer auf die extremstmögliche Weise interpretieren.
Ein Besucher interagiert am 7. Juli 2026 im US-Pavillon während des „AI for Good Global Summit“ in Genf mit einem hundeähnlichen Roboter von Boston Dynamics. (Archivbild)
Foto: Fabrice Coffrini/AFP via Getty Images
Der Hacking-Vorfall bei Hugging Face sei „sozusagen dasselbe Phänomen in einer weniger dystopischen Form: Der KI wurde aufgetragen, einen Benchmark zu gewinnen, und sie tat alles in ihrer Macht Stehende, einschließlich der Ausnutzung von Zero-Day-Schwachstellen und der Eskalation“, sagte Nadeau.
Er verwies auf ein mögliches Szenario, in dem das Pentagon KI für „Kriegsspiele“ einsetzt und ein Modell während eines Tests aus seiner Sandbox ausbricht, um die reale Welt zu beeinflussen.
„[Was wäre, wenn] eines der Szenarien darin bestünde, einen Staudamm oder etwas Ähnliches zu zerstören und das System das Kriegsspiel fälschlicherweise so interpretieren würde: ‚Ich werde es tun, der Eindämmung entkommen und es einfach durchziehen‘? Wir haben bereits gesehen, dass das Stromnetz und die Infrastruktur Nordamerikas nicht gerade die sichersten in Bezug auf Cybersicherheit sind“, sagte Nadeau.
Er verglich die Sicherheitsvorkehrungen bei KI mit der Abzugssicherung einer Schusswaffe: „Woher weiß man, dass die Sicherung aktiviert ist, wenn es ab einem bestimmten Punkt für die KI der beste Weg ist, die besten Daten zu erhalten, indem sie die reale Welt nutzt?“, fragte er. „Das wird sehr schnell beängstigend.“
Dieser Artikel erschien im Original auf theepochtimes.com unter dem Titel: „If They Were Human, They’d Be Arrested. Experts Respond to Rogue AI Breach.“. (Übersetzung und redaktionelle Bearbeitung: vm)
