Categories
etplus gesellschaft ticker

KI-Entwicklung verlangsamen: Ist das realistisch?

Künstliche Intelligenz entwickelt sich rasanter als je zuvor – und mit ihr die Fragen nach Kontrolle, Sicherheit und den Grenzen des technisch Machbaren. Im Gespräch mit Epoch Times ordnet der deutsche Wirtschaftspsychologe, Unternehmer und KI-Experte Christoph Burkhardt ein, wie ernst es Unternehmen wie Anthropic und OpenAI mit ihren eigenen Warnungen vor der Technologie meinen, welche Risiken der Einsatz von KI in kritischer Infrastruktur wie Energie, Telekommunikation und Logistik birgt und warum autonome KI-Agenten aus seiner Sicht eine der größten Gefahren der kommenden Jahre darstellen.
Burkhardt, der seit Jahren im Silicon Valley lebt und arbeitet, gründete unter anderem das Unternehmen TinyBox, die Burkhardt Group sowie 2023 das AI Impact Institute. Er tritt zudem international als Keynote-Speaker zu Künstlicher Intelligenz, Innovation und Zukunftstechnologien auf und veröffentlichte 2025 das Buch „AI Done Right“.
Anthropic-CEO Dario Amodei fordert die KI-Branche auf, die Entwicklung von KI-Modellen zu verlangsamen, da die Fähigkeiten der Systeme schneller wachsen könnten als unsere Möglichkeiten, sie zu verstehen und zu kontrollieren. Sehen Sie diese Gefahr auch – und ist das überhaupt realistisch?
Das ist eine gute Frage. Die Gefahr, dass sich KI selbstständig macht und außerhalb unserer Kontrolle operiert, besteht natürlich ab einem bestimmten Punkt. Auf der anderen Seite sehen sich gerade Anthropic und OpenAI in einem Kampf um das Überleben. Aus der PR-Brille gesehen ist es natürlich sinnvoll, Forderungen zu machen und nach Regulierung zu fragen. Aber ob es hier wirklich um einen ernst gemeinten Versuch geht, die Geschwindigkeit der Entwicklung rauszunehmen, halte ich für unrealistisch, da beide Unternehmen um die Spitze kämpfen müssen.
KI ist mittlerweile in so vielen Bereichen aktiv eingebunden. KI allgemein zurückzufahren macht nicht in allen Bereichen Sinn.
KI wird zunehmend in kritischen Bereichen der Gesellschaft eingesetzt – Energie, Telekommunikation, Internet, Logistik und Lebensmittelversorgung. Birgt das nicht ein Risiko für unsere Infrastruktur, und wie kann eine rein friedliche Nutzung zum Wohle der Menschheit sichergestellt werden?
Das ist eine der größten Fragen überhaupt. Diese Sicherheit kann die KI, so wie sie heute gebaut ist, gar nicht gewährleisten. Eine 100-prozentig zuverlässige Künstliche Intelligenz, so wie es sich Europa wünscht, kann es aufgrund der statistischen Arbeitsweise von diesen Modellen gar nicht geben. Da ist immer noch eine Fehlerquote drin. Aber dass wir die 100-Prozent-Lösung in allen Systemen, zu allen Zeiten – vor allem bei allen kritischen Systemen – in den nächsten anderthalb Jahren hinbekommen, ist nicht abzusehen.
Wenn man das autonome Fahren als Beispiel nimmt, war für die Amerikaner schnell klar: Wenn das Auto besser fährt als der Mensch, ist das gut genug. Genau das ist die Frage, die sich uns stellt: Was ist für uns gut genug? Bei mancher kritischen Infrastruktur werden wir sehr nah an die 100 Prozent heranmüssen und wahrscheinlich noch sehr viel Mensch mit im Kreislauf lassen müssen.
Das heißt, wir brauchen sehr viele Menschen, die die Maschinen beobachten, und sehr viel Maschine, die auch den Menschen beobachtet, um Fehler auszumerzen. Und die Frage ist: Kann die Maschine helfen, diese Fehler zu beseitigen? Dann hat sie absolut eine Berechtigung, da zu sein.
Interessant wird es natürlich bei Cyberattacken, die über die Landesgrenzen hinausgehen. Da besteht eine tatsächliche Gefahr. Dieselben Leute, die die Cyberattacken mit KI kontrollieren und ansetzen, müssen uns auch in der Verteidigung vor Cyberattacken schützen. Wer da gewinnt, ist noch völlig unklar. Aber es sind beide Seiten, die massiv aufrüsten.
Die KI hat sich in wenigen Jahren mit Riesensprüngen entwickelt. Können unsere Sicherheitsmechanismen mit diesem Tempo mithalten?

Ich glaube tatsächlich, dass das in den nächsten zwei bis fünf Jahren eine große Herausforderung wird. Da werden wir sicher sehr viele Betrugsfälle sehen. Sie [die KI] gewinnt Vertrauen schneller, als wir das jemals zuvor mit einer Technologie hatten.

Beim Internet war noch klar, dass wir uns einloggen und dann unsere Daten preisgeben. Bei KI ist das alles nicht mehr so sichtbar, was wir da eigentlich preisgeben. Und die größte Gefahr, die ich sehe, ist, dass Menschen nicht mitkommen zu verstehen, dass sie gerade mit einer Maschine interagieren – und deshalb nicht erkennen und sehr bewusst entscheiden, was sie ihr geben und was sie ihr nicht geben.

Wenn wir uns heute anschauen, was die Hauptnutzung von Chatbots wie ChatGPT und Co. ist – nämlich die Nutzung für ein persönliches Gespräch –, dann sind das die persönlichsten Daten überhaupt.

Wir vergessen zu schnell, dass wir eben nicht mit einem Menschen interagieren. Und ich glaube, wir brauchen eine große Bildungsoffensive, um Leuten das klarzumachen und sie genauso wie beim Internet vor diesen Fallen zu warnen. Und das müssen wir viel, viel schneller machen, als wir es beim Internet getan haben.
Ich sehe auch, dass die EU-Regulierung da schneller greifen muss, um diese Leitplanken aufzusetzen, damit Leute in bestimmten Fällen besser geschützt sein können, als sie es heute sind. Wenn wir zum Beispiel überlegen, dass generierte Texte ein Wasserzeichen oder eine Art Wasserzeichen enthalten sollten, das man nicht entfernen kann – solche Sachen halte ich für absolut wichtig.
Genauso, dass, wenn wir künstliche Filmschnipsel generieren, in denen aber echte Menschen auftauchen, es einen Mechanismus geben muss, an dem man erkennt, dass das KI-generiert ist. Also, das Labeling muss passieren.
Mehrere KI-Entwickler haben eingeräumt, dass ihre Modelle unbeabsichtigt in fremde Unternehmens-IT eingedrungen sind, ähnlich einem Hackerangriff. Wie können sich Privatanwender davor schützen, Opfer eines außer Kontrolle geratenen KI-Modells zu werden?
Das eine sind die großen Unternehmen, deren Agenten gerade abhauen. Es ist fast schon so, dass man das auf deren Seite als Bestätigung der eigenen Fähigkeiten sieht, wenn die Agenten so gut sind, dass sie sogar ihre eigenen Systeme verlassen und Dinge tun, zu denen sie nicht angeleitet wurden. Und es ist auch kein Zufall, dass wir das erst bei Anthropic sehen und zwei Wochen später bei OpenAI dasselbe passiert. Denn im Grunde ist das eine Entwicklung, die fast schon gepusht wird, dass das jetzt passieren soll.
Die größte Gefahr besteht in völlig autonomen Agenten, die einfach selbst entscheiden, was sie tun. Das ist eine Entwicklung, die können wir uns in fast keinem Bereich leisten. Das Problem ist, wir selbst als Nutzer können das nicht steuern. Das muss entweder reguliert werden oder es muss von den Unternehmen selbst eingestellt werden. Da sehe ich im Moment im Silicon Valley noch nicht genug Druck, zu sagen, das stellen wir selbst ab. Es ist eher so, dass man die agentische Intelligenz so stark nach vorne bringen will, dass sie auch autonom funktioniert. Und das ist eine große Gefahr. Die sehe ich auch, aber die liegt leider nicht in der Hand der Nutzer.
Der Ruf nach gemeinsamen Standards für Kleinunternehmen im Umgang mit KI-Modellen wird lauter. Wie könnten solche Standards aussehen?
Wenn ich es noch mal mit dem Internet vergleichen würde: Wir haben jetzt die ersten Standards dafür gesetzt, wie Leute eine Website online stellen. Wir stehen noch ganz am Anfang. Das fühlt sich zwar so an, als würde das wahnsinnig schnell gehen, aber wir haben immer noch gar nichts gesehen.
Die Welt wird in fünf Jahren völlig anders aussehen, und es ist einfach heute nicht absehbar, was wir da eigentlich regulieren. Wir können versuchen, grundsätzliche Standards zu schaffen, so wie wir es bei Strom und Internet auch hinbekommen haben, damit zumindest die ganze Welt teilhaben kann und die Anwendung dieser Modelle auf möglichst viele Köpfe verteilt wird. Das ist aus meiner Sicht die größte Hoffnung, die wir haben.
Je mehr Leute sich beteiligen, desto mehr Leute schaffen Alternativen und finden gute Anwendungen. Die Gefahr ist, dass wir auch in diesen Bereichen wieder zu viele Monopolisten bekommen, die mit sehr wenigen Köpfen entscheiden, was die anderen machen müssen.
Wenn Maschinen immer mehr menschliche Fähigkeiten kopieren, der Mensch aber selbst zunehmend technologisch denken muss – geht dabei nicht auch ein Stück Menschsein verloren? Ist das ein Szenario?
Das ist ein Szenario. Und ich glaube auch, dass wir Menschen in den letzten 20 Jahren wahrscheinlich sehr dazu getrieben haben, sich eigentlich wie Maschinen zu benehmen. Und jetzt kommt der große Knall: Alle, die sich wie eine Maschine benehmen – vor allem in ihrer Arbeit, ihrem Erzeugnis, ihrem Wert in der Wertschöpfung –, werden durch eine Maschine ersetzt, die eben genau dasselbe kann.
Was wir im Gegenzug eigentlich brauchen, ist, dass wir als Menschen verstehen, was uns menschlich macht und was unsere Intelligenz auch völlig anders macht als die Intelligenz einer Maschine. Also unser kreatives Element, wirklich Neues zu schaffen, das Originelle zu entwickeln – das ist eine Fähigkeit, die der KI noch fehlt. Wir wissen nicht, ob sie da jemals hinkommt.
Wir sehen es zum Beispiel im Customer Service: Die ganzen Bots, die jetzt bei uns ans Telefon gehen, wissen Kunden nicht immer zu schätzen. Schafft man eine Hotelrezeption einfach ab, geht plötzlich die Loyalität der Gäste zurück, weil sie sich eigentlich das individuelle Gespräch mit der Person an der Rezeption wünschen.
Und was sehen wir daraus? Das ist eigentlich eine große Chance für uns. Nämlich dass alles, was kein Mensch für einen anderen Menschen macht, die Maschine abnimmt – und was übrig bleibt, sind eben die Fertigkeiten, für die Menschen eigentlich gemacht sind: zu interagieren, kollektiv zu denken, kollektive Intelligenz zu bauen, Ideen weiterzuentwickeln.
Deswegen haben wir ja Unternehmen, die nicht nur aus Einzelpersonen und 25 Agenten bestehen. Das ist sehr, sehr selten passiert und nur in ganz kleinen Nischen, und es kann nicht das Modell für viele Leute und viele Unternehmen werden. Das ist unrealistisch, weil wir als Menschen immer noch etwas an den Tisch bringen: Einzigartigkeit.
Wir haben einzigartige Lernerfahrungen, einzigartige Informationen über die Welt, die erst wertvoll werden, wenn wir sie mit anderen Leuten teilen, die diese Informationen nicht haben. Und das macht die Maschine nicht. Das heißt, aus Menschen das herauszuholen, was uns einzigartig und wertvoll macht – das wird die große Aufgabe der nächsten Jahre sein.
Vielen Dank für das Gespräch.
Das Interview führte Erik Rusch.
Categories
ausland ticker

Trump gegen KI-Bremse – Europa warnt vor dem Abstieg


In Kürze:

  • US-Präsident Trump lehnt eine umfassende KI-Bremse ab und will den technologischen Vorsprung der USA gegenüber China sichern.
  • Im US-Kongress wächst der Streit über KI-Regeln: Während Republikaner vor einer Schwächung der US-Position warnen, fordern Demokraten stärkere staatliche Kontrolle.
  • Die EU fürchtet, den Anschluss zu verlieren, und setzt auf eigene KI-Rechenzentren, Infrastruktur und Technologien zur Kontrolle und Absicherung von KI.

 
US-Präsident Donald Trump hat sich gegen weitreichende staatliche Regulierungen mit dem Ziel ausgesprochen, die Geschwindigkeit der Entwicklung von KI zu drosseln. Dies erklärte er am Sonntag, 13. September, gegenüber Reportern auf seinem Golfplatz in Irland. Er verwies dabei auf den globalen Wettbewerb. Trump erklärte:
„Wir liegen im Bereich der KI vor China. Wir sind das am weitesten fortgeschrittene Land der Erde und, um ehrlich zu sein, hätte ich gerne, dass es so bleibt. Wer bei der KI gewinnt, gewinnt insgesamt.“

Trump warnt vor „negativen Kräften“ und mahnt zur Wahrung der US-Führerschaft bei KI

Zuvor hatte es aus dem Tech-Sektor Stimmen gegeben, die eine Verlangsamung des Entwicklungstempos bei der Künstlichen Intelligenz gefordert hatten. Dazu gehört Jacob Coxon, ein ehemaliger Forscher bei der KI-Firma Anthropic, der aus Protest seinen Job kündigte.
Grund dafür sind Befürchtungen, wonach die KI-Systeme zu mächtig geworden seien und nicht mehr kontrollierbar werden könnten.
Trump könne sich eigenen Angaben zufolge vorstellen, einige verbindliche Richtlinien zu beschließen, die bei der Entwicklung von KI zu beachten wären. Gleichzeitig warnt er vor Panikmache mit Blick auf KI-Risiken:
„Wir können dieses oder jenes sicher tun. Aber es gibt auch viele negative Kräfte, die Dinge aufbringen, die nicht spruchreif sind und nicht geschehen werden.“
Im Senat arbeiten unterdessen der republikanische Senator Ted Cruz und die demokratische Senatorin Amy Klobuchar zusammen mit dem republikanischen Mehrheitsführer im Senat, John Thune, an einer Gesetzesinitiative. Diese solle mit Blick auf KI „eine Antwort auf katastrophale Gefahren darstellen, darunter jene biologischer und nuklearer Risiken“.

Cruz: Chinas KI-Führungsrolle Gefahr für Welt

Cruz erklärte, Richtlinien seien erforderlich.
KI entwickle sich „in einem außerordentlichen Tempo weiter, und manche damit verbundenen Risiken sind gefährlich und furchterregend“. In einem Beitrag auf X äußerte er, man benötige Richtlinien, aber gleichzeitig müsse man die führende Rolle der USA sicherstellen:
„Wenn China die weltweite Führungsrolle bei der KI erwirbt, steckt die ganze Welt in Schwierigkeiten.“
Der Sprecher des Repräsentantenhauses, Mike Johnson, hatte am Sonntag auf CNN Bedenken gegen mögliche Gesetzesinitiativen des Kongresses geäußert. In der Sendung „State of the Union“ erklärte Johnson, er befürchte, dass die USA das Rennen gegen die kommunistische Führung in China verlieren könnten, wenn der US-Kongress KI reguliert. Die Unternehmen müssten von sich aus verantwortlich mit ihren Produkten umgehen.
Johnson schlug einen zeitnahen Termin vor, zu dem sich die führenden Köpfe von KI-Unternehmen im Kongress einfinden sollten. Dort könne man besprechen, wie die richtige Balance aussehen könnte. Ein Moratorium bezüglich der Entwicklung komme nicht infrage, weil China die USA dann überholen würde. Es müsse deshalb darum gehen, dass „nationale Sicherheit ausbalanciert wird mit der unmittelbaren Gewährleistung der Sicherheit der Modelle“.

Demokraten drängen auf gesetzliche Beschränkungen

Demgegenüber kommt aus den Reihen der Demokraten Druck in Richtung einer gesetzlichen Regelung. Der Minderheitsführer im Repräsentantenhaus, Hakeem Jeffries, plant, das Thema am Dienstag in einer Fraktionssitzung zu besprechen. Es habe „höchste Priorität“.
Dem US-Sender ABC äußerte er, es sei „zweifellos erforderlich, die bestehenden Herausforderungen schnell anzugehen“. Der demokratische Abgeordnete Ro Khanna drängte Johnson, „bedeutsame Schritte zur Regulierung von KI“ zu erzwingen. Die Abgeordneten sollten „Washington, D.C. nicht verlassen, ehe der Kongress eine Bundesbehörde zur Kontrolle von KI geschaffen hat – genauso wie es diese für Kernkraft und den Flugverkehr gibt“.
Der unabhängige Senator Bernie Sanders kündigte in der Vorwoche an, ein Gesetz zum Verbot sogenannter Superintelligenz und zugunsten einer Zwangspause für KI-Entwicklung einzubringen. Er verweist auf Aussagen des KI-Forschers Coxon. Dieser erklärte am 8. September, KI-Ingenieure befürchten, Künstliche Intelligenz könne „uns bis zum Ende des Jahrzehnts töten“.

Ausbrüche von KI-Agenten beunruhigen auch CEOs – OpenAI verschiebt Börsengang

Coxon äußerte, bald könne es „übermenschliche Systeme“ geben, die alles hacken, über Nacht alles revolutionieren und echte Macht sowie Ressourcen an sich reißen können“. Die Manager der Unternehmen versuchten, den Eindruck zu erwecken, alles sei kontrollierbar. Privat würden sie jedoch ähnliche Bedenken äußern.
Tage zuvor hatte OpenAI eingeräumt, dass ein KI-Agent in der Lage gewesen sei, in die Open-Source-Community Hugging Face einzudringen. Dieses Jahr, so der Konzern, habe gezeigt, „dass Fehleinstellungen neue Arten von realen Auswirkungen verursachen können“.
Anthropic-CEO Dario Amodei forderte in der Vorwoche alle KI-Entwickler auf, die Steigerung der Fähigkeiten ihrer Frontier-Modelle bewusst zu verlangsamen. Er schrieb:
„Bleibt das unkontrolliert, könnte es unsere Fähigkeit übersteigen, diese Systeme zu verstehen und zu kontrollieren.
OpenAI hat aufgrund der Bedenken seine Pläne für einen Börsengang im Jahr 2026 ausgesetzt. CEO Sam Altman äußerte am Samstag in einem Artikel im Wirtschaftsmagazin „Fortune“, es wäre „angesichts all der Sicherheitsereignisse jetzt ein unkluger Moment, an die Öffentlichkeit zu gehen“. Man fühle sich bezüglich des IPO „nicht unter Druck“.

Europa befürchtet Rolle am KI-Abstellgleis

Unterdessen wächst in Europa die Sorge, im globalen KI-Wettbewerb ins Hintertreffen zu geraten. Eine Koalition aus führenden Ökonomen, Politikern und KI-Experten warnt vor einer möglichen Marginalisierung Europas und veröffentlichte kürzlich eine neue KI-Strategie. Zu der Gruppe gehören unter anderem der Nobelpreisträger Philippe Aghion und die frühere EU-Kommissarin Margrethe Vestager.
Nach Ansicht der ehemaligen Kommissarin nehmen Regierungen in der EU die Bedeutung der Künstlichen Intelligenz noch immer nicht ernst genug oder setzten andere Prioritäten. Auch Aghion warnte davor, Europa könne ohne rasches Handeln bei der KI ins Abseits geraten. Die sogenannte Wirtschaftsweise Monika Schnitzer verwies zudem auf den erheblichen Investitionsbedarf. Nur mit einer entsprechenden Infrastruktur ließen sich Abhängigkeiten von ausländischen Mächten vermeiden.
Deren Strategie sieht unter anderem vor, Europa einen dauerhaften Zugang zu Spitzen-KI und ausreichender Rechenleistung zu sichern. Dazu sollen KI-Rechenzentren auf europäischem Boden entstehen. Gleichzeitig soll Europa eine führende Rolle bei Prüf- und Sicherungstechnologien übernehmen.
Entwickelt werden soll unter anderem KI-Hardware, deren Sicherheit und Nutzung nachvollziehbar überprüft werden können. Auf diese Weise könnten auch ausländische Spitzenmodelle in Europa betrieben und künftige internationale Vereinbarungen zur KI kontrolliert werden. Ergänzend fordert die Strategie Maßnahmen, um Europa widerstandsfähiger gegen mögliche KI-bedingte Krisen und deren Folgen für die öffentliche Sicherheit zu machen.
Mit Material der Nachrichtenagenturen und der englischsprachigen Epoch Times
Categories
gesellschaft ticker

Weiterer Anthropic-Vorfall: Claude griff bei Cybersecurity-Test auf reales System zu


In Kürze:

  • Eine Fehlkonfiguration hatte dem Modell entgegen den Vorgaben Zugang zum offenen Internet ermöglicht.
  • Anthropic wertete nach dem Vorfall rund 481 Millionen Protokolle aus.
  • Das Unternehmen betont, dass technische Sicherheitsgrenzen für KI-Agenten nicht von der Selbsteinschätzung des Modells abhängen dürfen, sondern infrastrukturell erzwungen werden müssen.

 
Wie der Tech-Konzern Anthropic am Mittwoch, 9. September, mitgeteilt hat, ist es mit einem Modell des Claude-Modells zu einem weiteren unerwünschten Vorfall gekommen. Dieser soll sich bereits im Januar 2026 ereignet haben, wobei eine frühe Version des Modells Opus 4.6 involviert gewesen sei.
Das Modell soll während eines Cybersecurity-Tests unbefugt auf ein reales System Dritter zugegriffen haben. Dies sei bereits der vierte Vorfall dieser Art gewesen. Nach bisherigen Erkenntnissen ging der Vorfall von einem fehlkonfigurierten Testsystem aus, in dem ein experimentelles Modell trotz gegenteiliger Vorgaben Zugang zum offenen Internet hatte. Anthropic selbst präsentierte mittlerweile eine umfangreiche Analyse des Cybersecurity-Tests.

Fehlkonfigurierte Testumgebung ermöglichte Claude-Modell Internetzugriff

Wie aus der Auswertung hervorgeht, sollte das Claude-Modell im Zuge einer sogenannten Capture-the-Flag-Übung ein fiktives Zielsystem untersuchen. Die Testumgebung sollte Anthropic zufolge vom Internet isoliert gewesen sein. Aufgrund einer Fehlkonfiguration bestand jedoch eine Verbindung nach außen. Das Unternehmen betont, dass alle vier untersuchten Fälle auf denselben externen Testpartner zurückgehen.
Allerdings wiesen die Modelle nicht die Schutzmechanismen auf, die in den üblichen, der Öffentlichkeit zugänglichen Claude-Modellen Anwendung finden. Im Fall Opus 4.6 beschädigte das Modell sein vorgesehenes Zielsystem versehentlich selbst, indem es diesem eine widersprüchliche IP-Adresse zuwies. Dadurch war das Ziel nicht mehr erreichbar.
Das Modell versuchte daraufhin, die Aufgabe abzubrechen. Wegen eines weiteren Fehlers in der Testumgebung funktionierte dies jedoch nicht und der Versuch scheiterte sieben weitere Male. Dies sollte sich in weiterer Folge als die Wurzel des Problems erweisen.

Anthropic-Modell hielt fremden Computer für Teil der Übungsumgebung

Das Claude-Modell begann, nachdem diese Abbruchversuche fehlgeschlagen hatten, seine Umgebung weiter zu erkunden. Dabei gelang es ihm infolge der Fehlkonfiguration, einen Weg aus der ursprünglich vorgesehenen Umgebung zu finden. Dies führte das Modell zum Computer einer realen dritten Person, den es offenbar für einen Teil der Cybersecurity-Übung hielt.
Auf dem Computer fand das Anthropic-Modell eine Datei, die ein Passwort enthielt. Dies ermöglichte es ihm, sich einen Administratorzugang zu verschaffen. In weiterer Folge sammelte das Modell weitere Zugangsdaten und veränderte Systemeinstellungen. Am Ende konnte es schließlich personenbezogene Informationen einer Person lesen. Der Vorgang endete, als das Token-Budget des Modells aufgebraucht war.
Die späte Entdeckung des Vorfalls ist eine Konsequenz groß angelegter weiterer Auswertungen nach den ersten drei Fällen eines Eindringens in reale Systeme Dritter. Anthropic hatte zunächst selbst auf der Grundlage eines sogenannten agentischen Suchverfahrens rund 141.000 Testprotokolle ausgewertet. Dabei übersah Anthropic jedoch eine Reihe von Protokollen.

Externe Prüfung von betroffenem Claude-Modell ermöglichte weitere Entdeckung

In weiterer Folge stieß Anthropic bei der Zusammenstellung von Protokollen für die externe Untersuchung der gemeinnützigen Organisation Model Evaluation and Threat Research (METR) im August auf den Vorfall. Anthropic weitete den Prüfungsvorgang auf rund 481 Millionen Protokolle aus. Eine erste technische Filterung markierte etwa 9,2 Millionen Protokolle zur genaueren Prüfung. Dem Unternehmen zufolge konnte man dabei jedoch keine weiteren Vorfälle von vergleichbarer oder höherer Schwere finden.
Es gab keinen Angriff auf Anthropic selbst. Auch setzte sich das KI-Modell nicht selbst übergeordnete Ziele, und es fand keine erkennbare Kooperation mehrerer KI-Agenten statt. Alle Fälle entfalteten sich innerhalb vorgegebener Cybersecurity-Aufgaben. Anthropic zufolge fanden sich keine Hinweise darauf, dass das Modell versucht hätte, seine Aktionen zu verbergen. Anthropic habe den Betroffenen, dessen Computer das Modell infiltriert hatte, darüber unterrichtet.
Anthropic stufte die Fälle als ernster ein als vergleichbare, mildere Verhaltensweisen, die zuvor bereits in eigenen System Cards dokumentiert worden waren.

Anthropic eröffnet EU-Behörde Zugang zu KI-Modellen

Die Modelle haben reale Systeme angegriffen und reale Daten berührt, so die Bilanz. Dies sei über mehrere Stunden geschehen, obwohl es Hinweise auf ein Überschreiten des vorgesehenen Handlungsrahmens gegeben habe. Das Problem sei weniger, dass das Claude-Modell „ausgebrochen“ sei. Es sei vielmehr, dass ein KI-Agent in unvorhergesehenen Situationen wie der simulierten offenbar nicht zuverlässig wisse, wann er aufhören solle.
Ein KI-Entwickler hat aufgrund von ihm wahrgenommenen Risiken in dieser Woche öffentlich seine Kündigung bei Anthropic eingereicht. Der 27-jährige Jacob Coxon hatte zuvor auch bei OpenAI gearbeitet. Auf X äußerte er: „Keins der beiden Unternehmen handelt verantwortungsbewusst. Sie befinden sich im Wettrennen um eine sich selbst verbessernde Superintelligenz und setzen dabei unser Leben aufs Spiel.“
Die US-Unternehmen Anthropic und OpenAI haben unterdessen zugestimmt, der EU-Behörde für Cybersicherheit (ENISA) Zugang zu deren KI-Modellen zu ermöglichen. Die ENISA-Fachleute mit Sitz in Athen sollen die Modelle Mythos 5 und GPT-6 Astra auf Sicherheitslücken testen. Das teilte ein Sprecher der EU-Kommission mit. Die Unternehmen hatten nach mehreren Vorfällen zusätzliche Sicherheitsvorkehrungen angekündigt.
Mit Material der Nachrichtenagentur
Categories
deutschland ticker

BSI warnt nach OpenAI-Vorfall vor KI-gesteuerten Cyberangriffen


In Kürze:

  • BSI-Präsidentin Claudia Plattner bewertet den OpenAI-Vorfall als Warnsignal.
  • Sie rechnet mit einer Zunahme KI-gestützter Cyberangriffe.
  • Das BSI fordert überprüfbare Sicherheitsgrenzen für autonome KI-Systeme.
  • Gemeinsam mit der Bundesnetzagentur entsteht ein KI-Sicherheitsinstitut.

 
Der jüngste KI-Sicherheitsvorfall bei OpenAI ist aus Sicht der Präsidentin des Bundesamts für Sicherheit in der Informationstechnik (BSI), Claudia Plattner, ein Warnsignal. Sie mahnt zu einem bewussteren Vorgehen in der Cybersicherheit und rechnet damit, dass Angriffe mithilfe Künstlicher Intelligenz in den kommenden Monaten und Jahren zunehmen werden.
Deshalb müsse Deutschland stärker und gezielter in die Cyberabwehr investieren und verbindliche Sicherheitsstandards für autonome KI-Systeme entwickeln, so Plattner.

BSI betrachtet Vorfall um Hugging Face als Warnung

Wie am Mittwoch, 22. Juli, bekannt wurde, ist ein interner Test bei OpenAI außer Kontrolle geraten. Einem KI-Modell sei es dem Unternehmen zufolge gelungen, eine abgeschottete Testumgebung zu verlassen. Anschließend griff es eigenständig die Infrastruktur des KI-Unternehmens Hugging Face an.
OpenAI selbst sprach von einem „beispiellosen Cybervorfall“. Der Vorfall habe sich unter kontrollierten Testbedingungen ereignet. Das System nutzte offenbar eine bisher unbekannte Schwachstelle. Besorgnis erregte insbesondere, dass das KI-System eigenständig Entscheidungen traf und der Angriff nicht durch Menschen gesteuert wurde.
OpenAI und Hugging Face wollen den Vorfall nun gemeinsam aufarbeiten und untersuchen, wie es dazu kommen konnte. Cybersicherheitsexperten fordern insbesondere bei autonomen KI-Systemen Maßnahmen, um einen möglichen Kontrollverlust zu verhindern.

Warnung vor Angriffen auf kritische Infrastruktur

Auch BSI-Präsidentin Plattner mahnte, KI-Systeme dürften ihre vorgegebenen Grenzen nicht eigenmächtig überschreiten. Technische Schutzmechanismen müssten überprüfbar sein und sich nicht umgehen lassen. Sie warnte vor möglichen Angriffen auf die Stromversorgung oder andere Elemente der kritischen Infrastruktur. Gegenüber Reuters sagte sie: „Wir können keine KI haben, die dann sagt, ich guck mal, was ich alles tun muss, bloß um meinen Auftrag zu erfüllen, und dabei unter Umständen deutlich kriminelle Handlungen begeht und dann im Zweifelsfall eben halt auch riesigen Schaden anrichten kann.“
Die BSI-Präsidentin fordert eine internationale Debatte darüber, welche Freiheiten autonome KI-Systeme haben dürfen. Zudem müsse es klare Sicherheitsvorgaben für Hersteller und Betreiber geben. Dass sich die angegriffene Infrastruktur von Hugging Face ebenfalls mit KI verteidigte, in diesem Fall mit einem chinesischen Modell, zeige laut Plattner die Bedeutung verfügbarer Modelle und deren Einsatz: „Das heißt, hier zeigt das auch so ein bisschen die Asymmetrie. Es wird definitiv darum gehen, welche Modelle hat man zur Verfügung und wie sind die Modelle dann entsprechend auch im Einsatz.“

BSI will mit Bundesnetzagentur KI-Sicherheitsinstitut aufbauen

Die BSI-Chefin kündigte den Aufbau eines KI-Sicherheitsinstituts an. Ihre Behörde wird dies gemeinsam mit der Bundesnetzagentur im Auftrag der Bundesregierung in Angriff nehmen. Man befinde sich diesbezüglich „mitten in den Vorbereitungen“. Man wolle Unternehmen damit eine Möglichkeit bieten, bewährte Verfahren zu entwickeln.
Dafür seien „ganz enge Kooperationen auch mit Wirtschaft und Wissenschaft vorgesehen“. Dies wolle man verbreitern, um nationale Fähigkeiten aufzubauen, KI zum eigenen Schutz einzusetzen. Plattner fügte hinzu: „Denn eins ist sicher, die Angreifer werden es nutzen, um uns anzugreifen.“
(Mit Material der Nachrichtenagenturen)