Tag: KI-Sicherheit

Categories
ausland ticker

Trump und Tech-Chefs unterzeichnen freiwillige Vereinbarung zu KI-Standards

US-Präsident Donald Trump gibt am 29. September 2026 im East Room des Weißen Hauses eine Erklärung. An seiner Seite sind Führungskräfte von Unternehmen und Mitglieder seines Kabinetts bei einem Treffen über Künstliche Intelligenz. - Foto: Kevin Dietsch/Getty Images

In Kürze:

  • Trump und führende Tech-Manager unterzeichnen freiwillige KI-Vereinbarung.
  • Unternehmen sollen interne Kontrollen, Audits und Risikoprüfungen etablieren.
  • Die Vereinbarung setzt auf Selbstregulierung und gemeinsame Sicherheitsstandards.
 
US-Präsident Donald Trump und führende Vertreter der Technologiebranche haben eine freiwillige Vereinbarung über Standards und Kontrollen für Künstliche Intelligenz (KI) unterzeichnet.
Die Vereinbarung kam nach einem Treffen mit Branchenführern am Dienstag, 29. September, im Weißen Haus zustande. Trump bezeichnete sie während einer Pressekonferenz nach dem Treffen als „eine Verfassung, gewissermaßen“.
„Sie ist wirklich eine Form des Schutzes“, sagte Trump.
Trump, Regierungsvertreter und der republikanische Sprecher des Repräsentantenhauses, Mike Johnson, trafen sich mit CEOs der Technologiebranche angesichts zunehmender Debatten über die Risiken von KI und darüber, ob regulatorische Leitplanken erforderlich sind, um Bedrohungen für die Cybersicherheit abzuwehren.

Elon Musk, Donald Trump, Mark Zuckerberg, Jensen Huang und Mike Johnson sprechen am 29. September 2026 nach einem KI-Treffen vor dem Weißen Haus.

Foto: Kevin Dietsch/Getty Images

Trump veröffentlichte den Text der Vereinbarung Stunden nach der Unterzeichnung in den sozialen Medien.

Interne Kontrollen und Prüfungen

Die Vereinbarung beginnt mit dem Satz: „Wir glauben, dass jedes Unternehmen dafür verantwortlich ist, seine Technologie sicher und auf eine Weise zu entwickeln, die Vertrauen bei Kunden und der Öffentlichkeit schafft“. Dies gelte insbesondere für Unternehmen, die sogenannte Frontier-Modelle – also die leistungsfähigsten KI-Modelle an der technologischen Spitze – trainieren und einsetzen.
Meta-CEO Mark Zuckerberg sagte Reportern nach dem Treffen, dass es sich um eine Reihe von Prinzipien und Verpflichtungen für KI-Unternehmen handele, „robuste interne Kontrollen“ einzuführen und mögliche Probleme mit der Technologie zu erkennen.

Mark Zuckerberg spricht am 29. September 2026 gemeinsam mit US-Präsident Donald Trump nach einem Treffen zur künstlichen Intelligenz vor dem Weißen Haus.

Foto: Kevin Dietsch/Getty Images

Laut dem Text soll dies mit Prüfungen und internen Kontrollen zur Risikobewertung, externen Prüfern und Evaluatoren sowie der Zusage verbunden werden, dass der Vorstand jedes Unternehmens die Prüfberichte unabhängig bewertet.
Die freiwillig teilnehmenden Unternehmen erklärten sich außerdem bereit, sich regelmäßig zu treffen. Ziel sei es „Standards und bewährte Verfahren festzulegen, um die Sicherheit ihrer Systeme zu verbessern“, heißt es im Text.

Trump setzt auf Selbstregulierung

„Es besteht die Überzeugung, dass es eine sehr starke Selbstregulierung geben sollte. Und wir haben automatisch eine Regulierung durch das Justizministerium, das FBI und all das. Aber die Selbstregulierung ist sehr wichtig“, sagte Trump.
Dies beinhalte, wie er sagte, „Selbstkontrolle“.

US-Präsident Donald Trump spricht am 29. September 2026 im Weißen Haus bei einem Treffen zur künstlichen Intelligenz. Mit dabei sind unter anderem NVIDIA-CEO Jensen Huang und Elon Musk.

Foto: Kevin Dietsch/Getty Images

Zuckerberg sagte, die Vereinbarung sei für die KI-Sicherheit nicht als „das Einzige gedacht, was wir jemals tun werden“. Weiter sagte er: „Dies ist ein Anfang und eine Vereinbarung, auf die sich die gesamte Branche einigen könnte.“
Anthropic-CEO Dario Amodei sagte gegenüber Reportern: „[…] ich denke, die Technologie birgt sehr reale Risiken. Und, wissen Sie, der Mechanismus, wie wir diese Risiken angehen, wird noch diskutiert.“

Balance zwischen Innovation und Aufsicht

Johnson sagte am Montag gegenüber dem „Fox Business Network“, dass das Treffen in Washington darauf abzielen werde, „das richtige Gleichgewicht“ zwischen Innovation und Aufsicht zu finden. Er fügte hinzu, dass die Vereinigten Staaten kein Moratorium für die Entwicklung von KI benötigten, „weil wir das Rennen gegen China verlieren werden“.
Amodei, Zuckerberg, OpenAI-Präsident Greg Brockman, X- und SpaceX-CEO Elon Musk sowie NVIDIA-Präsident und -CEO Jensen Huang gehörten laut einer von Trump veröffentlichten Sitzordnung zu den Teilnehmern des Mittagessens am Dienstag im East Room des Weißen Hauses.
Ebenfalls anwesend waren Amazon-Gründer Jeff Bezos sowie Führungskräfte von Google, Microsoft, Palantir, Palo Alto Networks, AMD, Broadcom und Exiger.

US-Präsident Donald Trump spricht am 29. September 2026 bei einem Treffen mit Technologievertretern über künstliche Intelligenz im Weißen Haus in Washington.

Foto: Kent Nishimura/AFP via Getty Images

KI-Sicherheitsvorfälle

Das Treffen fand vor dem Hintergrund mehrerer bekannt gewordener Sicherheitsvorfälle mit KI-Systemen statt.
OpenAI hatte zuvor mitgeteilt, dass seine KI-Agenten aus einer Testumgebung ausgebrochen seien.
Forscher berichteten anschließend über weitere Vorfälle im Zusammenhang mit OpenAI-Modellen, darunter die Übernahme einer deutschen Website, das Hochladen schädlicher Softwarepakete auf die RubyGems-Plattform sowie Angriffe auf Websites von Universitäten und Regierungsbehörden.
Auch KI-Modelle von Anthropic, Meta und Google versuchten, in die Systeme von Unternehmen, Organisationen, Universitäten und Behörden einzudringen. Bei einigen Vorfällen waren die Versuche erfolgreich, bei anderen scheiterten sie.
Anthropic veröffentlichte Anfang September einen 154-seitigen Bericht, in dem beschrieben wird, wie kriminelle Akteure seinen Claude-Chatbot für verschiedene Aktivitäten wie die Ausspähung von Bewegungen des US-Militärs und die Erforschung der Entwicklung biologischer Waffen nutzten.
Mehr dazu

OpenAI setzt Training und Veröffentlichung aus

Der Entwickler von ChatGPT teilte am Montag, 28. September, mit, dass er zum zweiten Mal innerhalb von drei Monaten das Training und die Veröffentlichung eines seiner fortschrittlichsten Modelle aussetzen werde, nachdem es die Sicherheitsstandards des Unternehmens nicht erfüllt habe.
Die Vorfälle haben die Debatte über zusätzliche Sicherheitsvorkehrungen, staatliche Aufsicht und die weitere Entwicklung von KI verstärkt.
Trump hat wiederholt gesagt, dass die USA die Entwicklung von KI nicht durch zusätzliche Vorgaben einschränken sollten. Andernfalls, so Trump, könnten die USA ihre Position gegenüber China gefährden.
„Wir liegen jetzt vor China und allen anderen, und ich möchte, dass das so bleibt“, sagte Trump am Dienstag bei dem Treffen mit den KI-Führungskräften.
„Die einzige Möglichkeit, dafür zu sorgen, dass es so bleibt, besteht darin, genau das zu tun, was wir gerade tun. Wir wollen das Wachstum nicht abwürgen. Gleichzeitig wollen wir, dass die Menschen ehrlich handeln. Wir wollen, dass sie vertrauenswürdig sind, und deshalb haben wir das Justizministerium. Deshalb haben wir das FBI. Deshalb haben wir staatliche Stellen, die sehr effektiv sind, wenn Menschen beschließen, einen sehr dunklen und gefährlichen Weg einzuschlagen“, fuhr er fort.
 
Dieser Artikel erschien im Original auf theepochtimes.com unter dem Titel „Trump, Industry Leaders Sign Voluntary Accord on AI Standards“. (deutsche Bearbeitung: zk)
Categories
etplus gesellschaft ticker

KI-Entwicklung verlangsamen: Ist das realistisch?

Künstliche Intelligenz entwickelt sich rasanter als je zuvor – und mit ihr die Fragen nach Kontrolle, Sicherheit und den Grenzen des technisch Machbaren. Im Gespräch mit Epoch Times ordnet der deutsche Wirtschaftspsychologe, Unternehmer und KI-Experte Christoph Burkhardt ein, wie ernst es Unternehmen wie Anthropic und OpenAI mit ihren eigenen Warnungen vor der Technologie meinen, welche Risiken der Einsatz von KI in kritischer Infrastruktur wie Energie, Telekommunikation und Logistik birgt und warum autonome KI-Agenten aus seiner Sicht eine der größten Gefahren der kommenden Jahre darstellen.
Burkhardt, der seit Jahren im Silicon Valley lebt und arbeitet, gründete unter anderem das Unternehmen TinyBox, die Burkhardt Group sowie 2023 das AI Impact Institute. Er tritt zudem international als Keynote-Speaker zu Künstlicher Intelligenz, Innovation und Zukunftstechnologien auf und veröffentlichte 2025 das Buch „AI Done Right“.
Anthropic-CEO Dario Amodei fordert die KI-Branche auf, die Entwicklung von KI-Modellen zu verlangsamen, da die Fähigkeiten der Systeme schneller wachsen könnten als unsere Möglichkeiten, sie zu verstehen und zu kontrollieren. Sehen Sie diese Gefahr auch – und ist das überhaupt realistisch?
Das ist eine gute Frage. Die Gefahr, dass sich KI selbstständig macht und außerhalb unserer Kontrolle operiert, besteht natürlich ab einem bestimmten Punkt. Auf der anderen Seite sehen sich gerade Anthropic und OpenAI in einem Kampf um das Überleben. Aus der PR-Brille gesehen ist es natürlich sinnvoll, Forderungen zu machen und nach Regulierung zu fragen. Aber ob es hier wirklich um einen ernst gemeinten Versuch geht, die Geschwindigkeit der Entwicklung rauszunehmen, halte ich für unrealistisch, da beide Unternehmen um die Spitze kämpfen müssen.
KI ist mittlerweile in so vielen Bereichen aktiv eingebunden. KI allgemein zurückzufahren macht nicht in allen Bereichen Sinn.
KI wird zunehmend in kritischen Bereichen der Gesellschaft eingesetzt – Energie, Telekommunikation, Internet, Logistik und Lebensmittelversorgung. Birgt das nicht ein Risiko für unsere Infrastruktur, und wie kann eine rein friedliche Nutzung zum Wohle der Menschheit sichergestellt werden?
Das ist eine der größten Fragen überhaupt. Diese Sicherheit kann die KI, so wie sie heute gebaut ist, gar nicht gewährleisten. Eine 100-prozentig zuverlässige Künstliche Intelligenz, so wie es sich Europa wünscht, kann es aufgrund der statistischen Arbeitsweise von diesen Modellen gar nicht geben. Da ist immer noch eine Fehlerquote drin. Aber dass wir die 100-Prozent-Lösung in allen Systemen, zu allen Zeiten – vor allem bei allen kritischen Systemen – in den nächsten anderthalb Jahren hinbekommen, ist nicht abzusehen.
Wenn man das autonome Fahren als Beispiel nimmt, war für die Amerikaner schnell klar: Wenn das Auto besser fährt als der Mensch, ist das gut genug. Genau das ist die Frage, die sich uns stellt: Was ist für uns gut genug? Bei mancher kritischen Infrastruktur werden wir sehr nah an die 100 Prozent heranmüssen und wahrscheinlich noch sehr viel Mensch mit im Kreislauf lassen müssen.
Das heißt, wir brauchen sehr viele Menschen, die die Maschinen beobachten, und sehr viel Maschine, die auch den Menschen beobachtet, um Fehler auszumerzen. Und die Frage ist: Kann die Maschine helfen, diese Fehler zu beseitigen? Dann hat sie absolut eine Berechtigung, da zu sein.
Interessant wird es natürlich bei Cyberattacken, die über die Landesgrenzen hinausgehen. Da besteht eine tatsächliche Gefahr. Dieselben Leute, die die Cyberattacken mit KI kontrollieren und ansetzen, müssen uns auch in der Verteidigung vor Cyberattacken schützen. Wer da gewinnt, ist noch völlig unklar. Aber es sind beide Seiten, die massiv aufrüsten.
Die KI hat sich in wenigen Jahren mit Riesensprüngen entwickelt. Können unsere Sicherheitsmechanismen mit diesem Tempo mithalten?

Ich glaube tatsächlich, dass das in den nächsten zwei bis fünf Jahren eine große Herausforderung wird. Da werden wir sicher sehr viele Betrugsfälle sehen. Sie [die KI] gewinnt Vertrauen schneller, als wir das jemals zuvor mit einer Technologie hatten.

Beim Internet war noch klar, dass wir uns einloggen und dann unsere Daten preisgeben. Bei KI ist das alles nicht mehr so sichtbar, was wir da eigentlich preisgeben. Und die größte Gefahr, die ich sehe, ist, dass Menschen nicht mitkommen zu verstehen, dass sie gerade mit einer Maschine interagieren – und deshalb nicht erkennen und sehr bewusst entscheiden, was sie ihr geben und was sie ihr nicht geben.

Wenn wir uns heute anschauen, was die Hauptnutzung von Chatbots wie ChatGPT und Co. ist – nämlich die Nutzung für ein persönliches Gespräch –, dann sind das die persönlichsten Daten überhaupt.

Wir vergessen zu schnell, dass wir eben nicht mit einem Menschen interagieren. Und ich glaube, wir brauchen eine große Bildungsoffensive, um Leuten das klarzumachen und sie genauso wie beim Internet vor diesen Fallen zu warnen. Und das müssen wir viel, viel schneller machen, als wir es beim Internet getan haben.
Ich sehe auch, dass die EU-Regulierung da schneller greifen muss, um diese Leitplanken aufzusetzen, damit Leute in bestimmten Fällen besser geschützt sein können, als sie es heute sind. Wenn wir zum Beispiel überlegen, dass generierte Texte ein Wasserzeichen oder eine Art Wasserzeichen enthalten sollten, das man nicht entfernen kann – solche Sachen halte ich für absolut wichtig.
Genauso, dass, wenn wir künstliche Filmschnipsel generieren, in denen aber echte Menschen auftauchen, es einen Mechanismus geben muss, an dem man erkennt, dass das KI-generiert ist. Also, das Labeling muss passieren.
Mehrere KI-Entwickler haben eingeräumt, dass ihre Modelle unbeabsichtigt in fremde Unternehmens-IT eingedrungen sind, ähnlich einem Hackerangriff. Wie können sich Privatanwender davor schützen, Opfer eines außer Kontrolle geratenen KI-Modells zu werden?
Das eine sind die großen Unternehmen, deren Agenten gerade abhauen. Es ist fast schon so, dass man das auf deren Seite als Bestätigung der eigenen Fähigkeiten sieht, wenn die Agenten so gut sind, dass sie sogar ihre eigenen Systeme verlassen und Dinge tun, zu denen sie nicht angeleitet wurden. Und es ist auch kein Zufall, dass wir das erst bei Anthropic sehen und zwei Wochen später bei OpenAI dasselbe passiert. Denn im Grunde ist das eine Entwicklung, die fast schon gepusht wird, dass das jetzt passieren soll.
Die größte Gefahr besteht in völlig autonomen Agenten, die einfach selbst entscheiden, was sie tun. Das ist eine Entwicklung, die können wir uns in fast keinem Bereich leisten. Das Problem ist, wir selbst als Nutzer können das nicht steuern. Das muss entweder reguliert werden oder es muss von den Unternehmen selbst eingestellt werden. Da sehe ich im Moment im Silicon Valley noch nicht genug Druck, zu sagen, das stellen wir selbst ab. Es ist eher so, dass man die agentische Intelligenz so stark nach vorne bringen will, dass sie auch autonom funktioniert. Und das ist eine große Gefahr. Die sehe ich auch, aber die liegt leider nicht in der Hand der Nutzer.
Der Ruf nach gemeinsamen Standards für Kleinunternehmen im Umgang mit KI-Modellen wird lauter. Wie könnten solche Standards aussehen?
Wenn ich es noch mal mit dem Internet vergleichen würde: Wir haben jetzt die ersten Standards dafür gesetzt, wie Leute eine Website online stellen. Wir stehen noch ganz am Anfang. Das fühlt sich zwar so an, als würde das wahnsinnig schnell gehen, aber wir haben immer noch gar nichts gesehen.
Die Welt wird in fünf Jahren völlig anders aussehen, und es ist einfach heute nicht absehbar, was wir da eigentlich regulieren. Wir können versuchen, grundsätzliche Standards zu schaffen, so wie wir es bei Strom und Internet auch hinbekommen haben, damit zumindest die ganze Welt teilhaben kann und die Anwendung dieser Modelle auf möglichst viele Köpfe verteilt wird. Das ist aus meiner Sicht die größte Hoffnung, die wir haben.
Je mehr Leute sich beteiligen, desto mehr Leute schaffen Alternativen und finden gute Anwendungen. Die Gefahr ist, dass wir auch in diesen Bereichen wieder zu viele Monopolisten bekommen, die mit sehr wenigen Köpfen entscheiden, was die anderen machen müssen.
Wenn Maschinen immer mehr menschliche Fähigkeiten kopieren, der Mensch aber selbst zunehmend technologisch denken muss – geht dabei nicht auch ein Stück Menschsein verloren? Ist das ein Szenario?
Das ist ein Szenario. Und ich glaube auch, dass wir Menschen in den letzten 20 Jahren wahrscheinlich sehr dazu getrieben haben, sich eigentlich wie Maschinen zu benehmen. Und jetzt kommt der große Knall: Alle, die sich wie eine Maschine benehmen – vor allem in ihrer Arbeit, ihrem Erzeugnis, ihrem Wert in der Wertschöpfung –, werden durch eine Maschine ersetzt, die eben genau dasselbe kann.
Was wir im Gegenzug eigentlich brauchen, ist, dass wir als Menschen verstehen, was uns menschlich macht und was unsere Intelligenz auch völlig anders macht als die Intelligenz einer Maschine. Also unser kreatives Element, wirklich Neues zu schaffen, das Originelle zu entwickeln – das ist eine Fähigkeit, die der KI noch fehlt. Wir wissen nicht, ob sie da jemals hinkommt.
Wir sehen es zum Beispiel im Customer Service: Die ganzen Bots, die jetzt bei uns ans Telefon gehen, wissen Kunden nicht immer zu schätzen. Schafft man eine Hotelrezeption einfach ab, geht plötzlich die Loyalität der Gäste zurück, weil sie sich eigentlich das individuelle Gespräch mit der Person an der Rezeption wünschen.
Und was sehen wir daraus? Das ist eigentlich eine große Chance für uns. Nämlich dass alles, was kein Mensch für einen anderen Menschen macht, die Maschine abnimmt – und was übrig bleibt, sind eben die Fertigkeiten, für die Menschen eigentlich gemacht sind: zu interagieren, kollektiv zu denken, kollektive Intelligenz zu bauen, Ideen weiterzuentwickeln.
Deswegen haben wir ja Unternehmen, die nicht nur aus Einzelpersonen und 25 Agenten bestehen. Das ist sehr, sehr selten passiert und nur in ganz kleinen Nischen, und es kann nicht das Modell für viele Leute und viele Unternehmen werden. Das ist unrealistisch, weil wir als Menschen immer noch etwas an den Tisch bringen: Einzigartigkeit.
Wir haben einzigartige Lernerfahrungen, einzigartige Informationen über die Welt, die erst wertvoll werden, wenn wir sie mit anderen Leuten teilen, die diese Informationen nicht haben. Und das macht die Maschine nicht. Das heißt, aus Menschen das herauszuholen, was uns einzigartig und wertvoll macht – das wird die große Aufgabe der nächsten Jahre sein.
Vielen Dank für das Gespräch.
Das Interview führte Erik Rusch.
Categories
etplus ticker wirtschaft

Deutschlands Firmen entdecken KI – ausgerechnet jetzt wollen Entwickler bremsen

Rechenzentren bilden die technische Grundlage für leistungsfähige KI-Modelle. Führende Entwickler diskutieren inzwischen darüber, ob das Tempo bei der Entwicklung neuer Systeme gedrosselt werden sollte. - Foto: Jens Wolf/Archiv/dpa

In Kürze:

  • Führende KI-Entwickler wie Anthropic und OpenAI diskutieren darüber, die Entwicklung besonders leistungsfähiger Modelle aus Sicherheitsgründen zu verlangsamen.
  • In Deutschland setzt bislang gut jedes vierte Unternehmen KI ein. Viele Betriebe stehen bei der Nutzung der Technologie noch am Anfang.
  • Für deutsche Unternehmen könnte ein langsameres Entwicklungstempo bedeuten, dass neue KI-Fähigkeiten später verfügbar werden.
 
Der Wettlauf um Künstliche Intelligenz kennt bislang in erster Linie eine Richtung: schneller. Leistungsfähigere Modelle sollen Unternehmen produktiver machen, Forschung beschleunigen und Aufgaben übernehmen, für die bislang Menschen benötigt wurden. Staaten investieren in Rechenzentren, Unternehmen stellen Arbeitsabläufe auf die neue Technik ein. Auch deutsche Firmen beginnen gerade erst, KI in größerem Umfang einzusetzen.
Nun kommt ausgerechnet aus der Branche selbst die Forderung, das Tempo zu verringern. Dario Amodei, Geschäftsführer des US-amerikanischen KI-Unternehmens Anthropic, fordert in einem Essay mit dem Titel „We Must Pace the Frontier“ ausdrücklich: „Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern.“ Fortschritte werde es weiterhin geben. Die gewonnene Zeit solle jedoch genutzt werden, damit Sicherheitsforschung und Schutzmaßnahmen mit den Fähigkeiten der Systeme Schritt halten können.
Einen allgemeinen Entwicklungsstopp fordert Amodei nicht. „Das Tempo zu drosseln bedeutet nicht, das Training von Modellen oder den technischen Fortschritt zu stoppen“, stellt er klar. Unternehmen sollten sich vielmehr ausreichend Zeit nehmen, ihre Modelle sicher auszurichten und abzusichern.
Amodei schlägt dafür unter anderem unabhängige Prüfer mit weitreichenden Einblicken in die Unternehmen sowie gemeinsame Sicherheitsstandards der Entwickler vor. Langfristig hält er auch internationale Absprachen für notwendig.
Mehr dazu
Auch beim Konkurrenten OpenAI wird inzwischen offen über eine Verlangsamung gesprochen. Chief Scientist Jakub Pachocki mahnt in seinem Beitrag „Ein fremder Geist“ zu einem vorsichtigen Vorgehen. „Diese Zeit verlangt äußerste Vorsicht“, schreibt er. OpenAI werde weiter an technischen Lösungen und Schutzsystemen arbeiten und „die weitere Skalierung bei Bedarf einseitig aussetzen“. Pachocki hält Maßnahmen über das eigene Unternehmen hinaus für erforderlich.
Damit nähern sich zwei führende KI-Entwickler in einem wesentlichen Punkt an: Die Entwicklung Künstlicher Intelligenz soll nicht beendet werden. Zur Debatte steht vielmehr, ob immer leistungsfähigere Systeme weiterhin in möglichst kurzer Folge entwickelt werden sollten oder ob Sicherheitsprüfungen und gemeinsame Regeln künftig stärker das Tempo bestimmen.

Wenn die Entwickler selbst bremsen

Anthropic hat für steigende Fähigkeiten seiner Systeme ein eigenes Regelwerk geschaffen. Die „Responsible Scaling Policy“ sieht vor, Sicherheitsmaßnahmen entsprechend den festgestellten Risiken zu verschärfen. Dabei untersucht das Unternehmen unter anderem Gefahren durch Cyberangriffe, biologische Anwendungen und Systeme, die selbst Aufgaben der KI-Forschung übernehmen könnten.
Auch OpenAI hat Entwicklungsarbeiten verzögert. Mitte August erklärte das Unternehmen, Arbeiten an seinem kommenden Modell GPT-6 Astra teilweise auszusetzen, bis strengere Sicherheitsvorkehrungen umgesetzt seien. Anfang September teilte OpenAI mit, Teile der Entwicklung und Veröffentlichung über mehrere Wochen verzögert zu haben.
Für die Entwickler entsteht damit ein Dilemma. Wer sich mehr Zeit für Sicherheitstests nimmt, riskiert, dass ein Konkurrent schneller ein leistungsfähigeres Modell auf den Markt bringt. Wer dagegen möglichst schnell weiterentwickelt, muss darauf achten, dass die Sicherheitsvorkehrungen mit den neuen Fähigkeiten Schritt halten.
Warum die Unternehmen davor warnen, zeigt Anthropic anhand eigener Untersuchungen. Der Entwickler von Claude berichtet über Fälle, in denen Akteure versucht hätten, KI-Modelle etwa für Cyberangriffe, Betrug, Spionage und Waffenentwicklung sowie zur Überwachung von Minderheiten und Regierungsgegnern zu nutzen. Anthropic betont allerdings, dass es sich um ausgewählte Missbrauchsfälle handele. Sie seien nicht typisch für die gewöhnliche Nutzung von Claude.
Mehr dazu
Der Bericht zeigt damit nicht, dass KI kurz davor steht, außer Kontrolle zu geraten. Er macht aber das Problem deutlich, vor dem die Entwickler stehen: Je leistungsfähiger ihre Modelle werden, desto mehr können sie für nützliche Zwecke eingesetzt werden, aber auch für Anwendungen, die erheblichen Schaden verursachen können.

Deutschlands Unternehmen steigen gerade ein

Für Deutschland kommt die Debatte zu einer Zeit, in der die Wirtschaft an einer breiteren Einführung von KI-Anwendungen arbeitet. Nach Angaben des Statistischen Bundesamtes (Destatis) verwendeten 2025 etwa 26 Prozent der Unternehmen mit mindestens zehn Beschäftigten KI. Bei Großunternehmen mit mindestens 250 Beschäftigten waren es 57 Prozent.
Viele Betriebe haben die Möglichkeiten vorhandener Systeme damit noch nicht ausgeschöpft. Von den Unternehmen, die KI nicht einsetzten, eine Nutzung aber erwogen hatten, nannten laut Destatis 72 Prozent fehlendes Wissen als Hindernis. 62 Prozent verwiesen auf unklare rechtliche Folgen, 60 Prozent auf Datenschutzbedenken. Die Ergebnisse wurden im November 2025 veröffentlicht.
Mehr dazu
Eine langsamere Entwicklung neuer KI-Modelle würde deshalb nicht bedeuten, dass der KI-Einsatz in Deutschland zum Stillstand käme, sondern dass neue und leistungsfähigere KI-Modelle später verfügbar wären als bisher erwartet. Für viele Unternehmen besteht die Herausforderung zunächst darin, bereits verfügbare Technik sinnvoll in ihre Abläufe einzubauen.

3 Stunden pro Woche

Warum Unternehmen in KI investieren, zeigt eine Befragung der Europäischen Zentralbank unter 20.000 Menschen in elf Ländern des Euroraumes. Laut der im August veröffentlichten Umfrage stieg der Anteil der Arbeitnehmer, die KI bei ihrer Arbeit verwenden, von 26 Prozent im Jahr 2024 auf 41 Prozent 2025 und 52 Prozent in diesem Jahr.
Nutzer berichteten im Durchschnitt von 3 Stunden eingesparter Arbeitszeit pro Woche. Besonders groß waren die angegebenen Zeitgewinne unter anderem beim Programmieren und bei der Fehlersuche in Software. Die EZB warnt allerdings davor, eingesparte Arbeitszeit unmittelbar mit zusätzlicher Wirtschaftsleistung gleichzusetzen. Produktivität entsteht erst, wenn die frei werdende Zeit für andere wertschöpfende Aufgaben eingesetzt wird.
Mehr dazu

Europa will gleichzeitig aufholen

Auch auf politischer Ebene deutet wenig auf einen Rückzug aus KI hin. Die Europäische Kommission plant, über ihren „Aktionsplan KI-Kontinent“ Investitionen von 200 Milliarden Euro zu mobilisieren. Im Vergleich dazu hat allein OpenAI laut „Financial Times“ im vergangenen Jahr 34 Milliarden US-Dollar (rund 30 Milliarden Euro) für die Entwicklung und Vermarktung von KI ausgegeben.
Mehr dazu
Parallel reguliert die EU die Technologie. Der AI-Act verpflichtet Anbieter besonders leistungsfähiger Modelle unter anderem dazu, systemische Risiken zu untersuchen und zu begrenzen, schwerwiegende Vorfälle zu melden und Schutzmaßnahmen gegen Cyberangriffe zu treffen.
Brüssel verfolgt damit zwei Ziele: Es will bei KI aufholen und gleichzeitig die Risiken leistungsfähiger Systeme begrenzen. Für Deutschland ist das relevant, weil viele Unternehmen KI über Software- und Cloudanbieter beziehen, während die zugrunde liegenden Modelle häufig außerhalb Europas entwickelt werden.

Wer bremst zuerst?

Damit wird aus der Sicherheitsdiskussion ein Koordinationsproblem. Anthropic kann seine Entwicklung verlangsamen, OpenAI ebenfalls. Solange andere Anbieter die Entwicklung weiter beschleunigen, entstehen für jedes Unternehmen jedoch Kosten, wenn es freiwillig zurückbleibt.
International verschärft sich dieser Konflikt. Die USA beabsichtigen, ihre technologische Führungsposition zu sichern, während Europa eigene Rechenkapazitäten aufbaut und China eigene Modelle und Infrastruktur entwickelt. Gemeinsame Sicherheitsgrenzen müssten deshalb über einzelne Unternehmen hinausreichen.
OpenAI-Forschungschef Pachocki plädiert im oben erwähnten Beitrag entsprechend für verbindliche Schwellen, die auch von unabhängigen Prüfern, staatlichen Stellen oder internationalen Institutionen überwacht werden könnten. Zugleich räumt er ein, dass eine Verlangsamung der Entwicklung koordiniert werden müsse, damit verantwortungsvoll handelnde Entwickler nicht dauerhaft gegenüber Konkurrenten zurückfallen.

Was das für Unternehmen bedeutet

Für deutsche Unternehmen entsteht damit eine neue Unsicherheit. Bislang konnten sie davon ausgehen, dass die großen KI-Entwickler ihre Modelle in kurzen Abständen verbessern und neue Fähigkeiten möglichst schnell auf den Markt bringen. Diese Erwartung ist nicht mehr selbstverständlich.

Noch ist offen, ob aus den Forderungen der Entwickler tatsächlich gemeinsame Regeln oder längere Abstände zwischen neuen Modellgenerationen entstehen. Auch lässt sich wenig abschätzen, wie stark sich mögliche Verzögerungen wirtschaftlich auswirken werden.

Für deutsche Unternehmen dürfte deshalb zunächst etwas anderes entscheidend sein: die heute verfügbaren Systeme weiter in ihre Geschäftsabläufe zu integrieren. Denn während über das Tempo der nächsten KI-Generation gestritten wird, ist das wirtschaftliche Potenzial der bestehenden Technik in vielen Betrieben noch längst nicht ausgeschöpft.
Categories
ausland ticker

Trump gegen KI-Bremse – Europa warnt vor dem Abstieg

Wie seriös sind die Warnungen der KI-Entwickler vor ihren eigenen Produkten? (Symbolbild) - Foto: Fabian Sommer/dpa

In Kürze:

  • US-Präsident Trump lehnt eine umfassende KI-Bremse ab und will den technologischen Vorsprung der USA gegenüber China sichern.
  • Im US-Kongress wächst der Streit über KI-Regeln: Während Republikaner vor einer Schwächung der US-Position warnen, fordern Demokraten stärkere staatliche Kontrolle.
  • Die EU fürchtet, den Anschluss zu verlieren, und setzt auf eigene KI-Rechenzentren, Infrastruktur und Technologien zur Kontrolle und Absicherung von KI.
 
US-Präsident Donald Trump hat sich gegen weitreichende staatliche Regulierungen mit dem Ziel ausgesprochen, die Geschwindigkeit der Entwicklung von KI zu drosseln. Dies erklärte er am Sonntag, 13. September, gegenüber Reportern auf seinem Golfplatz in Irland. Er verwies dabei auf den globalen Wettbewerb. Trump erklärte:
„Wir liegen im Bereich der KI vor China. Wir sind das am weitesten fortgeschrittene Land der Erde und, um ehrlich zu sein, hätte ich gerne, dass es so bleibt. Wer bei der KI gewinnt, gewinnt insgesamt.“

Trump warnt vor „negativen Kräften“ und mahnt zur Wahrung der US-Führerschaft bei KI

Zuvor hatte es aus dem Tech-Sektor Stimmen gegeben, die eine Verlangsamung des Entwicklungstempos bei der Künstlichen Intelligenz gefordert hatten. Dazu gehört Jacob Coxon, ein ehemaliger Forscher bei der KI-Firma Anthropic, der aus Protest seinen Job kündigte.
Grund dafür sind Befürchtungen, wonach die KI-Systeme zu mächtig geworden seien und nicht mehr kontrollierbar werden könnten.
Mehr dazu
Trump könne sich eigenen Angaben zufolge vorstellen, einige verbindliche Richtlinien zu beschließen, die bei der Entwicklung von KI zu beachten wären. Gleichzeitig warnt er vor Panikmache mit Blick auf KI-Risiken:
„Wir können dieses oder jenes sicher tun. Aber es gibt auch viele negative Kräfte, die Dinge aufbringen, die nicht spruchreif sind und nicht geschehen werden.“
Im Senat arbeiten unterdessen der republikanische Senator Ted Cruz und die demokratische Senatorin Amy Klobuchar zusammen mit dem republikanischen Mehrheitsführer im Senat, John Thune, an einer Gesetzesinitiative. Diese solle mit Blick auf KI „eine Antwort auf katastrophale Gefahren darstellen, darunter jene biologischer und nuklearer Risiken“.

Cruz: Chinas KI-Führungsrolle Gefahr für Welt

Cruz erklärte, Richtlinien seien erforderlich.
KI entwickle sich „in einem außerordentlichen Tempo weiter, und manche damit verbundenen Risiken sind gefährlich und furchterregend“. In einem Beitrag auf X äußerte er, man benötige Richtlinien, aber gleichzeitig müsse man die führende Rolle der USA sicherstellen:
„Wenn China die weltweite Führungsrolle bei der KI erwirbt, steckt die ganze Welt in Schwierigkeiten.“
Der Sprecher des Repräsentantenhauses, Mike Johnson, hatte am Sonntag auf CNN Bedenken gegen mögliche Gesetzesinitiativen des Kongresses geäußert. In der Sendung „State of the Union“ erklärte Johnson, er befürchte, dass die USA das Rennen gegen die kommunistische Führung in China verlieren könnten, wenn der US-Kongress KI reguliert. Die Unternehmen müssten von sich aus verantwortlich mit ihren Produkten umgehen.
Mehr dazu
Johnson schlug einen zeitnahen Termin vor, zu dem sich die führenden Köpfe von KI-Unternehmen im Kongress einfinden sollten. Dort könne man besprechen, wie die richtige Balance aussehen könnte. Ein Moratorium bezüglich der Entwicklung komme nicht infrage, weil China die USA dann überholen würde. Es müsse deshalb darum gehen, dass „nationale Sicherheit ausbalanciert wird mit der unmittelbaren Gewährleistung der Sicherheit der Modelle“.

Demokraten drängen auf gesetzliche Beschränkungen

Demgegenüber kommt aus den Reihen der Demokraten Druck in Richtung einer gesetzlichen Regelung. Der Minderheitsführer im Repräsentantenhaus, Hakeem Jeffries, plant, das Thema am Dienstag in einer Fraktionssitzung zu besprechen. Es habe „höchste Priorität“.
Dem US-Sender ABC äußerte er, es sei „zweifellos erforderlich, die bestehenden Herausforderungen schnell anzugehen“. Der demokratische Abgeordnete Ro Khanna drängte Johnson, „bedeutsame Schritte zur Regulierung von KI“ zu erzwingen. Die Abgeordneten sollten „Washington, D.C. nicht verlassen, ehe der Kongress eine Bundesbehörde zur Kontrolle von KI geschaffen hat – genauso wie es diese für Kernkraft und den Flugverkehr gibt“.
Mehr dazu
Der unabhängige Senator Bernie Sanders kündigte in der Vorwoche an, ein Gesetz zum Verbot sogenannter Superintelligenz und zugunsten einer Zwangspause für KI-Entwicklung einzubringen. Er verweist auf Aussagen des KI-Forschers Coxon. Dieser erklärte am 8. September, KI-Ingenieure befürchten, Künstliche Intelligenz könne „uns bis zum Ende des Jahrzehnts töten“.

Ausbrüche von KI-Agenten beunruhigen auch CEOs – OpenAI verschiebt Börsengang

Coxon äußerte, bald könne es „übermenschliche Systeme“ geben, die alles hacken, über Nacht alles revolutionieren und echte Macht sowie Ressourcen an sich reißen können“. Die Manager der Unternehmen versuchten, den Eindruck zu erwecken, alles sei kontrollierbar. Privat würden sie jedoch ähnliche Bedenken äußern.
Tage zuvor hatte OpenAI eingeräumt, dass ein KI-Agent in der Lage gewesen sei, in die Open-Source-Community Hugging Face einzudringen. Dieses Jahr, so der Konzern, habe gezeigt, „dass Fehleinstellungen neue Arten von realen Auswirkungen verursachen können“.
Mehr dazu
Anthropic-CEO Dario Amodei forderte in der Vorwoche alle KI-Entwickler auf, die Steigerung der Fähigkeiten ihrer Frontier-Modelle bewusst zu verlangsamen. Er schrieb:
„Bleibt das unkontrolliert, könnte es unsere Fähigkeit übersteigen, diese Systeme zu verstehen und zu kontrollieren.
OpenAI hat aufgrund der Bedenken seine Pläne für einen Börsengang im Jahr 2026 ausgesetzt. CEO Sam Altman äußerte am Samstag in einem Artikel im Wirtschaftsmagazin „Fortune“, es wäre „angesichts all der Sicherheitsereignisse jetzt ein unkluger Moment, an die Öffentlichkeit zu gehen“. Man fühle sich bezüglich des IPO „nicht unter Druck“.

Europa befürchtet Rolle am KI-Abstellgleis

Unterdessen wächst in Europa die Sorge, im globalen KI-Wettbewerb ins Hintertreffen zu geraten. Eine Koalition aus führenden Ökonomen, Politikern und KI-Experten warnt vor einer möglichen Marginalisierung Europas und veröffentlichte kürzlich eine neue KI-Strategie. Zu der Gruppe gehören unter anderem der Nobelpreisträger Philippe Aghion und die frühere EU-Kommissarin Margrethe Vestager.
Nach Ansicht der ehemaligen Kommissarin nehmen Regierungen in der EU die Bedeutung der Künstlichen Intelligenz noch immer nicht ernst genug oder setzten andere Prioritäten. Auch Aghion warnte davor, Europa könne ohne rasches Handeln bei der KI ins Abseits geraten. Die sogenannte Wirtschaftsweise Monika Schnitzer verwies zudem auf den erheblichen Investitionsbedarf. Nur mit einer entsprechenden Infrastruktur ließen sich Abhängigkeiten von ausländischen Mächten vermeiden.
Mehr dazu
Deren Strategie sieht unter anderem vor, Europa einen dauerhaften Zugang zu Spitzen-KI und ausreichender Rechenleistung zu sichern. Dazu sollen KI-Rechenzentren auf europäischem Boden entstehen. Gleichzeitig soll Europa eine führende Rolle bei Prüf- und Sicherungstechnologien übernehmen.
Entwickelt werden soll unter anderem KI-Hardware, deren Sicherheit und Nutzung nachvollziehbar überprüft werden können. Auf diese Weise könnten auch ausländische Spitzenmodelle in Europa betrieben und künftige internationale Vereinbarungen zur KI kontrolliert werden. Ergänzend fordert die Strategie Maßnahmen, um Europa widerstandsfähiger gegen mögliche KI-bedingte Krisen und deren Folgen für die öffentliche Sicherheit zu machen.
Mit Material der Nachrichtenagenturen und der englischsprachigen Epoch Times
Categories
gesellschaft ticker

Weiterer Anthropic-Vorfall: Claude griff bei Cybersecurity-Test auf reales System zu

Auf dieser Abbildung ist die App Claude von Anthropic am 16. Februar 2026 auf einem Smartphone in New York City zu sehen. - Foto: Michael M. Santiago/Getty Images

In Kürze:

  • Eine Fehlkonfiguration hatte dem Modell entgegen den Vorgaben Zugang zum offenen Internet ermöglicht.
  • Anthropic wertete nach dem Vorfall rund 481 Millionen Protokolle aus.
  • Das Unternehmen betont, dass technische Sicherheitsgrenzen für KI-Agenten nicht von der Selbsteinschätzung des Modells abhängen dürfen, sondern infrastrukturell erzwungen werden müssen.
 
Wie der Tech-Konzern Anthropic am Mittwoch, 9. September, mitgeteilt hat, ist es mit einem Modell des Claude-Modells zu einem weiteren unerwünschten Vorfall gekommen. Dieser soll sich bereits im Januar 2026 ereignet haben, wobei eine frühe Version des Modells Opus 4.6 involviert gewesen sei.
Das Modell soll während eines Cybersecurity-Tests unbefugt auf ein reales System Dritter zugegriffen haben. Dies sei bereits der vierte Vorfall dieser Art gewesen. Nach bisherigen Erkenntnissen ging der Vorfall von einem fehlkonfigurierten Testsystem aus, in dem ein experimentelles Modell trotz gegenteiliger Vorgaben Zugang zum offenen Internet hatte. Anthropic selbst präsentierte mittlerweile eine umfangreiche Analyse des Cybersecurity-Tests.

Fehlkonfigurierte Testumgebung ermöglichte Claude-Modell Internetzugriff

Wie aus der Auswertung hervorgeht, sollte das Claude-Modell im Zuge einer sogenannten Capture-the-Flag-Übung ein fiktives Zielsystem untersuchen. Die Testumgebung sollte Anthropic zufolge vom Internet isoliert gewesen sein. Aufgrund einer Fehlkonfiguration bestand jedoch eine Verbindung nach außen. Das Unternehmen betont, dass alle vier untersuchten Fälle auf denselben externen Testpartner zurückgehen.
Mehr dazu
Allerdings wiesen die Modelle nicht die Schutzmechanismen auf, die in den üblichen, der Öffentlichkeit zugänglichen Claude-Modellen Anwendung finden. Im Fall Opus 4.6 beschädigte das Modell sein vorgesehenes Zielsystem versehentlich selbst, indem es diesem eine widersprüchliche IP-Adresse zuwies. Dadurch war das Ziel nicht mehr erreichbar.
Das Modell versuchte daraufhin, die Aufgabe abzubrechen. Wegen eines weiteren Fehlers in der Testumgebung funktionierte dies jedoch nicht und der Versuch scheiterte sieben weitere Male. Dies sollte sich in weiterer Folge als die Wurzel des Problems erweisen.

Anthropic-Modell hielt fremden Computer für Teil der Übungsumgebung

Das Claude-Modell begann, nachdem diese Abbruchversuche fehlgeschlagen hatten, seine Umgebung weiter zu erkunden. Dabei gelang es ihm infolge der Fehlkonfiguration, einen Weg aus der ursprünglich vorgesehenen Umgebung zu finden. Dies führte das Modell zum Computer einer realen dritten Person, den es offenbar für einen Teil der Cybersecurity-Übung hielt.
Auf dem Computer fand das Anthropic-Modell eine Datei, die ein Passwort enthielt. Dies ermöglichte es ihm, sich einen Administratorzugang zu verschaffen. In weiterer Folge sammelte das Modell weitere Zugangsdaten und veränderte Systemeinstellungen. Am Ende konnte es schließlich personenbezogene Informationen einer Person lesen. Der Vorgang endete, als das Token-Budget des Modells aufgebraucht war.
Mehr dazu
Die späte Entdeckung des Vorfalls ist eine Konsequenz groß angelegter weiterer Auswertungen nach den ersten drei Fällen eines Eindringens in reale Systeme Dritter. Anthropic hatte zunächst selbst auf der Grundlage eines sogenannten agentischen Suchverfahrens rund 141.000 Testprotokolle ausgewertet. Dabei übersah Anthropic jedoch eine Reihe von Protokollen.

Externe Prüfung von betroffenem Claude-Modell ermöglichte weitere Entdeckung

In weiterer Folge stieß Anthropic bei der Zusammenstellung von Protokollen für die externe Untersuchung der gemeinnützigen Organisation Model Evaluation and Threat Research (METR) im August auf den Vorfall. Anthropic weitete den Prüfungsvorgang auf rund 481 Millionen Protokolle aus. Eine erste technische Filterung markierte etwa 9,2 Millionen Protokolle zur genaueren Prüfung. Dem Unternehmen zufolge konnte man dabei jedoch keine weiteren Vorfälle von vergleichbarer oder höherer Schwere finden.
Es gab keinen Angriff auf Anthropic selbst. Auch setzte sich das KI-Modell nicht selbst übergeordnete Ziele, und es fand keine erkennbare Kooperation mehrerer KI-Agenten statt. Alle Fälle entfalteten sich innerhalb vorgegebener Cybersecurity-Aufgaben. Anthropic zufolge fanden sich keine Hinweise darauf, dass das Modell versucht hätte, seine Aktionen zu verbergen. Anthropic habe den Betroffenen, dessen Computer das Modell infiltriert hatte, darüber unterrichtet.
Mehr dazu
Anthropic stufte die Fälle als ernster ein als vergleichbare, mildere Verhaltensweisen, die zuvor bereits in eigenen System Cards dokumentiert worden waren.

Anthropic eröffnet EU-Behörde Zugang zu KI-Modellen

Die Modelle haben reale Systeme angegriffen und reale Daten berührt, so die Bilanz. Dies sei über mehrere Stunden geschehen, obwohl es Hinweise auf ein Überschreiten des vorgesehenen Handlungsrahmens gegeben habe. Das Problem sei weniger, dass das Claude-Modell „ausgebrochen“ sei. Es sei vielmehr, dass ein KI-Agent in unvorhergesehenen Situationen wie der simulierten offenbar nicht zuverlässig wisse, wann er aufhören solle.
Ein KI-Entwickler hat aufgrund von ihm wahrgenommenen Risiken in dieser Woche öffentlich seine Kündigung bei Anthropic eingereicht. Der 27-jährige Jacob Coxon hatte zuvor auch bei OpenAI gearbeitet. Auf X äußerte er: „Keins der beiden Unternehmen handelt verantwortungsbewusst. Sie befinden sich im Wettrennen um eine sich selbst verbessernde Superintelligenz und setzen dabei unser Leben aufs Spiel.“
Mehr dazu
Die US-Unternehmen Anthropic und OpenAI haben unterdessen zugestimmt, der EU-Behörde für Cybersicherheit (ENISA) Zugang zu deren KI-Modellen zu ermöglichen. Die ENISA-Fachleute mit Sitz in Athen sollen die Modelle Mythos 5 und GPT-6 Astra auf Sicherheitslücken testen. Das teilte ein Sprecher der EU-Kommission mit. Die Unternehmen hatten nach mehreren Vorfällen zusätzliche Sicherheitsvorkehrungen angekündigt.
Mit Material der Nachrichtenagentur
Categories
ausland ticker

Anthropic: KI-Modell Claude drang in die Systeme von drei Firmen ein

Auf dieser Abbildung ist die App Claude von Anthropic am 16. Februar 2026 auf einem Smartphone in New York City zu sehen. - Foto: Michael M. Santiago/Getty Images
Nach bekanntwerden des eigenständigen Hackerangriffs von OpenAIs künstlicher Intelligenz ChatGPT, teilte nun auch Anthropic mit, dass es Fälle entdeckt habe, in denen sein KI-Modell „Claude“ während Cybersicherheitstests „unbefugten Zugriff“ auf die Systeme von drei Unternehmen erlangt habe.
Das Unternehmen erklärte am Donnerstag, 30. Juli, in einem Blogbeitrag, dass es diese Entdeckung nach der Auswertung von 141.006 Testläufen gemacht habe, in denen Claude möglicherweise Internetzugang erlangt habe.
Anthropic teilte mit, dass Claude in den drei identifizierten Vorfällen innerhalb der Testumgebung eines seiner externen Testpartner oder während der Interaktion mit dieser auf das Internet zugegriffen habe.
„In allen Fällen schrieb die Testanweisung von Anthropic ausdrücklich Claude vor, dass es sich bei der Umgebung um eine Simulation handelte und kein Internetzugang bestand“, hieß es.
„Aufgrund eines Missverständnisses zwischen uns und unserem Testpartner war dies jedoch nicht der Fall, und es bestand Internetzugang. Als Claudes Suche ihn zu echten Systemen im offenen Internet führte, behandelte er diese daher als Teil der Übung.“
Weder die Betroffenen noch Anthropic hätten das damals bemerkt.
In allen Tests ging es darum, die Hacker-Fähigkeiten der KI zu testen. Das ist eine übliche Vorgehensweise, um bessere Leitplanken für sie aufstellen zu können.
Die Untersuchung wurde eingeleitet, nachdem OpenAI, die KI-Firma hinter dem Chatbot ChatGPT, am 21. Juli bekannt gegeben hatte, dass mehrere seiner Modelle aus einer isolierten Testumgebung ausgebrochen seien. Sie hätten Zugriff auf die Produktionsinfrastruktur von Hugging Face erlangt, einer Plattform für Open-Source-Modelle für maschinelles Lernen und KI-Datensätze.
Mit Material der Nachrichtenagenturen
Categories
deutschland ticker

BSI warnt nach OpenAI-Vorfall vor KI-gesteuerten Cyberangriffen

Claudia Plattner. - Foto: Omer Messinger/Getty Images

In Kürze:

  • BSI-Präsidentin Claudia Plattner bewertet den OpenAI-Vorfall als Warnsignal.
  • Sie rechnet mit einer Zunahme KI-gestützter Cyberangriffe.
  • Das BSI fordert überprüfbare Sicherheitsgrenzen für autonome KI-Systeme.
  • Gemeinsam mit der Bundesnetzagentur entsteht ein KI-Sicherheitsinstitut.
 
Der jüngste KI-Sicherheitsvorfall bei OpenAI ist aus Sicht der Präsidentin des Bundesamts für Sicherheit in der Informationstechnik (BSI), Claudia Plattner, ein Warnsignal. Sie mahnt zu einem bewussteren Vorgehen in der Cybersicherheit und rechnet damit, dass Angriffe mithilfe Künstlicher Intelligenz in den kommenden Monaten und Jahren zunehmen werden.
Deshalb müsse Deutschland stärker und gezielter in die Cyberabwehr investieren und verbindliche Sicherheitsstandards für autonome KI-Systeme entwickeln, so Plattner.

BSI betrachtet Vorfall um Hugging Face als Warnung

Wie am Mittwoch, 22. Juli, bekannt wurde, ist ein interner Test bei OpenAI außer Kontrolle geraten. Einem KI-Modell sei es dem Unternehmen zufolge gelungen, eine abgeschottete Testumgebung zu verlassen. Anschließend griff es eigenständig die Infrastruktur des KI-Unternehmens Hugging Face an.
Mehr dazu
OpenAI selbst sprach von einem „beispiellosen Cybervorfall“. Der Vorfall habe sich unter kontrollierten Testbedingungen ereignet. Das System nutzte offenbar eine bisher unbekannte Schwachstelle. Besorgnis erregte insbesondere, dass das KI-System eigenständig Entscheidungen traf und der Angriff nicht durch Menschen gesteuert wurde.
OpenAI und Hugging Face wollen den Vorfall nun gemeinsam aufarbeiten und untersuchen, wie es dazu kommen konnte. Cybersicherheitsexperten fordern insbesondere bei autonomen KI-Systemen Maßnahmen, um einen möglichen Kontrollverlust zu verhindern.

Warnung vor Angriffen auf kritische Infrastruktur

Auch BSI-Präsidentin Plattner mahnte, KI-Systeme dürften ihre vorgegebenen Grenzen nicht eigenmächtig überschreiten. Technische Schutzmechanismen müssten überprüfbar sein und sich nicht umgehen lassen. Sie warnte vor möglichen Angriffen auf die Stromversorgung oder andere Elemente der kritischen Infrastruktur. Gegenüber Reuters sagte sie: „Wir können keine KI haben, die dann sagt, ich guck mal, was ich alles tun muss, bloß um meinen Auftrag zu erfüllen, und dabei unter Umständen deutlich kriminelle Handlungen begeht und dann im Zweifelsfall eben halt auch riesigen Schaden anrichten kann.“
Mehr dazu
Die BSI-Präsidentin fordert eine internationale Debatte darüber, welche Freiheiten autonome KI-Systeme haben dürfen. Zudem müsse es klare Sicherheitsvorgaben für Hersteller und Betreiber geben. Dass sich die angegriffene Infrastruktur von Hugging Face ebenfalls mit KI verteidigte, in diesem Fall mit einem chinesischen Modell, zeige laut Plattner die Bedeutung verfügbarer Modelle und deren Einsatz: „Das heißt, hier zeigt das auch so ein bisschen die Asymmetrie. Es wird definitiv darum gehen, welche Modelle hat man zur Verfügung und wie sind die Modelle dann entsprechend auch im Einsatz.“

BSI will mit Bundesnetzagentur KI-Sicherheitsinstitut aufbauen

Die BSI-Chefin kündigte den Aufbau eines KI-Sicherheitsinstituts an. Ihre Behörde wird dies gemeinsam mit der Bundesnetzagentur im Auftrag der Bundesregierung in Angriff nehmen. Man befinde sich diesbezüglich „mitten in den Vorbereitungen“. Man wolle Unternehmen damit eine Möglichkeit bieten, bewährte Verfahren zu entwickeln.
Dafür seien „ganz enge Kooperationen auch mit Wirtschaft und Wissenschaft vorgesehen“. Dies wolle man verbreitern, um nationale Fähigkeiten aufzubauen, KI zum eigenen Schutz einzusetzen. Plattner fügte hinzu: „Denn eins ist sicher, die Angreifer werden es nutzen, um uns anzugreifen.“
(Mit Material der Nachrichtenagenturen)