Categories
ausland ticker

Anthropic: KI-Modell Claude drang in die Systeme von drei Firmen ein

Nach bekanntwerden des eigenständigen Hackerangriffs von OpenAIs künstlicher Intelligenz ChatGPT, teilte nun auch Anthropic mit, dass es Fälle entdeckt habe, in denen sein KI-Modell „Claude“ während Cybersicherheitstests „unbefugten Zugriff“ auf die Systeme von drei Unternehmen erlangt habe.
Das Unternehmen erklärte am Donnerstag, 30. Juli, in einem Blogbeitrag, dass es diese Entdeckung nach der Auswertung von 141.006 Testläufen gemacht habe, in denen Claude möglicherweise Internetzugang erlangt habe.
Anthropic teilte mit, dass Claude in den drei identifizierten Vorfällen innerhalb der Testumgebung eines seiner externen Testpartner oder während der Interaktion mit dieser auf das Internet zugegriffen habe.
„In allen Fällen schrieb die Testanweisung von Anthropic ausdrücklich Claude vor, dass es sich bei der Umgebung um eine Simulation handelte und kein Internetzugang bestand“, hieß es.
„Aufgrund eines Missverständnisses zwischen uns und unserem Testpartner war dies jedoch nicht der Fall, und es bestand Internetzugang. Als Claudes Suche ihn zu echten Systemen im offenen Internet führte, behandelte er diese daher als Teil der Übung.“
Weder die Betroffenen noch Anthropic hätten das damals bemerkt.
In allen Tests ging es darum, die Hacker-Fähigkeiten der KI zu testen. Das ist eine übliche Vorgehensweise, um bessere Leitplanken für sie aufstellen zu können.
Die Untersuchung wurde eingeleitet, nachdem OpenAI, die KI-Firma hinter dem Chatbot ChatGPT, am 21. Juli bekannt gegeben hatte, dass mehrere seiner Modelle aus einer isolierten Testumgebung ausgebrochen seien. Sie hätten Zugriff auf die Produktionsinfrastruktur von Hugging Face erlangt, einer Plattform für Open-Source-Modelle für maschinelles Lernen und KI-Datensätze.
Mit Material der Nachrichtenagenturen
Categories
deutschland ticker

BSI warnt nach OpenAI-Vorfall vor KI-gesteuerten Cyberangriffen


In Kürze:

  • BSI-Präsidentin Claudia Plattner bewertet den OpenAI-Vorfall als Warnsignal.
  • Sie rechnet mit einer Zunahme KI-gestützter Cyberangriffe.
  • Das BSI fordert überprüfbare Sicherheitsgrenzen für autonome KI-Systeme.
  • Gemeinsam mit der Bundesnetzagentur entsteht ein KI-Sicherheitsinstitut.

 
Der jüngste KI-Sicherheitsvorfall bei OpenAI ist aus Sicht der Präsidentin des Bundesamts für Sicherheit in der Informationstechnik (BSI), Claudia Plattner, ein Warnsignal. Sie mahnt zu einem bewussteren Vorgehen in der Cybersicherheit und rechnet damit, dass Angriffe mithilfe Künstlicher Intelligenz in den kommenden Monaten und Jahren zunehmen werden.
Deshalb müsse Deutschland stärker und gezielter in die Cyberabwehr investieren und verbindliche Sicherheitsstandards für autonome KI-Systeme entwickeln, so Plattner.

BSI betrachtet Vorfall um Hugging Face als Warnung

Wie am Mittwoch, 22. Juli, bekannt wurde, ist ein interner Test bei OpenAI außer Kontrolle geraten. Einem KI-Modell sei es dem Unternehmen zufolge gelungen, eine abgeschottete Testumgebung zu verlassen. Anschließend griff es eigenständig die Infrastruktur des KI-Unternehmens Hugging Face an.
OpenAI selbst sprach von einem „beispiellosen Cybervorfall“. Der Vorfall habe sich unter kontrollierten Testbedingungen ereignet. Das System nutzte offenbar eine bisher unbekannte Schwachstelle. Besorgnis erregte insbesondere, dass das KI-System eigenständig Entscheidungen traf und der Angriff nicht durch Menschen gesteuert wurde.
OpenAI und Hugging Face wollen den Vorfall nun gemeinsam aufarbeiten und untersuchen, wie es dazu kommen konnte. Cybersicherheitsexperten fordern insbesondere bei autonomen KI-Systemen Maßnahmen, um einen möglichen Kontrollverlust zu verhindern.

Warnung vor Angriffen auf kritische Infrastruktur

Auch BSI-Präsidentin Plattner mahnte, KI-Systeme dürften ihre vorgegebenen Grenzen nicht eigenmächtig überschreiten. Technische Schutzmechanismen müssten überprüfbar sein und sich nicht umgehen lassen. Sie warnte vor möglichen Angriffen auf die Stromversorgung oder andere Elemente der kritischen Infrastruktur. Gegenüber Reuters sagte sie: „Wir können keine KI haben, die dann sagt, ich guck mal, was ich alles tun muss, bloß um meinen Auftrag zu erfüllen, und dabei unter Umständen deutlich kriminelle Handlungen begeht und dann im Zweifelsfall eben halt auch riesigen Schaden anrichten kann.“
Die BSI-Präsidentin fordert eine internationale Debatte darüber, welche Freiheiten autonome KI-Systeme haben dürfen. Zudem müsse es klare Sicherheitsvorgaben für Hersteller und Betreiber geben. Dass sich die angegriffene Infrastruktur von Hugging Face ebenfalls mit KI verteidigte, in diesem Fall mit einem chinesischen Modell, zeige laut Plattner die Bedeutung verfügbarer Modelle und deren Einsatz: „Das heißt, hier zeigt das auch so ein bisschen die Asymmetrie. Es wird definitiv darum gehen, welche Modelle hat man zur Verfügung und wie sind die Modelle dann entsprechend auch im Einsatz.“

BSI will mit Bundesnetzagentur KI-Sicherheitsinstitut aufbauen

Die BSI-Chefin kündigte den Aufbau eines KI-Sicherheitsinstituts an. Ihre Behörde wird dies gemeinsam mit der Bundesnetzagentur im Auftrag der Bundesregierung in Angriff nehmen. Man befinde sich diesbezüglich „mitten in den Vorbereitungen“. Man wolle Unternehmen damit eine Möglichkeit bieten, bewährte Verfahren zu entwickeln.
Dafür seien „ganz enge Kooperationen auch mit Wirtschaft und Wissenschaft vorgesehen“. Dies wolle man verbreitern, um nationale Fähigkeiten aufzubauen, KI zum eigenen Schutz einzusetzen. Plattner fügte hinzu: „Denn eins ist sicher, die Angreifer werden es nutzen, um uns anzugreifen.“
(Mit Material der Nachrichtenagenturen)