Categories
ausland ticker

Trump gegen KI-Bremse – Europa warnt vor dem Abstieg


In Kürze:

  • US-Präsident Trump lehnt eine umfassende KI-Bremse ab und will den technologischen Vorsprung der USA gegenüber China sichern.
  • Im US-Kongress wächst der Streit über KI-Regeln: Während Republikaner vor einer Schwächung der US-Position warnen, fordern Demokraten stärkere staatliche Kontrolle.
  • Die EU fürchtet, den Anschluss zu verlieren, und setzt auf eigene KI-Rechenzentren, Infrastruktur und Technologien zur Kontrolle und Absicherung von KI.

 
US-Präsident Donald Trump hat sich gegen weitreichende staatliche Regulierungen mit dem Ziel ausgesprochen, die Geschwindigkeit der Entwicklung von KI zu drosseln. Dies erklärte er am Sonntag, 13. September, gegenüber Reportern auf seinem Golfplatz in Irland. Er verwies dabei auf den globalen Wettbewerb. Trump erklärte:
„Wir liegen im Bereich der KI vor China. Wir sind das am weitesten fortgeschrittene Land der Erde und, um ehrlich zu sein, hätte ich gerne, dass es so bleibt. Wer bei der KI gewinnt, gewinnt insgesamt.“

Trump warnt vor „negativen Kräften“ und mahnt zur Wahrung der US-Führerschaft bei KI

Zuvor hatte es aus dem Tech-Sektor Stimmen gegeben, die eine Verlangsamung des Entwicklungstempos bei der Künstlichen Intelligenz gefordert hatten. Dazu gehört Jacob Coxon, ein ehemaliger Forscher bei der KI-Firma Anthropic, der aus Protest seinen Job kündigte.
Grund dafür sind Befürchtungen, wonach die KI-Systeme zu mächtig geworden seien und nicht mehr kontrollierbar werden könnten.
Trump könne sich eigenen Angaben zufolge vorstellen, einige verbindliche Richtlinien zu beschließen, die bei der Entwicklung von KI zu beachten wären. Gleichzeitig warnt er vor Panikmache mit Blick auf KI-Risiken:
„Wir können dieses oder jenes sicher tun. Aber es gibt auch viele negative Kräfte, die Dinge aufbringen, die nicht spruchreif sind und nicht geschehen werden.“
Im Senat arbeiten unterdessen der republikanische Senator Ted Cruz und die demokratische Senatorin Amy Klobuchar zusammen mit dem republikanischen Mehrheitsführer im Senat, John Thune, an einer Gesetzesinitiative. Diese solle mit Blick auf KI „eine Antwort auf katastrophale Gefahren darstellen, darunter jene biologischer und nuklearer Risiken“.

Cruz: Chinas KI-Führungsrolle Gefahr für Welt

Cruz erklärte, Richtlinien seien erforderlich.
KI entwickle sich „in einem außerordentlichen Tempo weiter, und manche damit verbundenen Risiken sind gefährlich und furchterregend“. In einem Beitrag auf X äußerte er, man benötige Richtlinien, aber gleichzeitig müsse man die führende Rolle der USA sicherstellen:
„Wenn China die weltweite Führungsrolle bei der KI erwirbt, steckt die ganze Welt in Schwierigkeiten.“
Der Sprecher des Repräsentantenhauses, Mike Johnson, hatte am Sonntag auf CNN Bedenken gegen mögliche Gesetzesinitiativen des Kongresses geäußert. In der Sendung „State of the Union“ erklärte Johnson, er befürchte, dass die USA das Rennen gegen die kommunistische Führung in China verlieren könnten, wenn der US-Kongress KI reguliert. Die Unternehmen müssten von sich aus verantwortlich mit ihren Produkten umgehen.
Johnson schlug einen zeitnahen Termin vor, zu dem sich die führenden Köpfe von KI-Unternehmen im Kongress einfinden sollten. Dort könne man besprechen, wie die richtige Balance aussehen könnte. Ein Moratorium bezüglich der Entwicklung komme nicht infrage, weil China die USA dann überholen würde. Es müsse deshalb darum gehen, dass „nationale Sicherheit ausbalanciert wird mit der unmittelbaren Gewährleistung der Sicherheit der Modelle“.

Demokraten drängen auf gesetzliche Beschränkungen

Demgegenüber kommt aus den Reihen der Demokraten Druck in Richtung einer gesetzlichen Regelung. Der Minderheitsführer im Repräsentantenhaus, Hakeem Jeffries, plant, das Thema am Dienstag in einer Fraktionssitzung zu besprechen. Es habe „höchste Priorität“.
Dem US-Sender ABC äußerte er, es sei „zweifellos erforderlich, die bestehenden Herausforderungen schnell anzugehen“. Der demokratische Abgeordnete Ro Khanna drängte Johnson, „bedeutsame Schritte zur Regulierung von KI“ zu erzwingen. Die Abgeordneten sollten „Washington, D.C. nicht verlassen, ehe der Kongress eine Bundesbehörde zur Kontrolle von KI geschaffen hat – genauso wie es diese für Kernkraft und den Flugverkehr gibt“.
Der unabhängige Senator Bernie Sanders kündigte in der Vorwoche an, ein Gesetz zum Verbot sogenannter Superintelligenz und zugunsten einer Zwangspause für KI-Entwicklung einzubringen. Er verweist auf Aussagen des KI-Forschers Coxon. Dieser erklärte am 8. September, KI-Ingenieure befürchten, Künstliche Intelligenz könne „uns bis zum Ende des Jahrzehnts töten“.

Ausbrüche von KI-Agenten beunruhigen auch CEOs – OpenAI verschiebt Börsengang

Coxon äußerte, bald könne es „übermenschliche Systeme“ geben, die alles hacken, über Nacht alles revolutionieren und echte Macht sowie Ressourcen an sich reißen können“. Die Manager der Unternehmen versuchten, den Eindruck zu erwecken, alles sei kontrollierbar. Privat würden sie jedoch ähnliche Bedenken äußern.
Tage zuvor hatte OpenAI eingeräumt, dass ein KI-Agent in der Lage gewesen sei, in die Open-Source-Community Hugging Face einzudringen. Dieses Jahr, so der Konzern, habe gezeigt, „dass Fehleinstellungen neue Arten von realen Auswirkungen verursachen können“.
Anthropic-CEO Dario Amodei forderte in der Vorwoche alle KI-Entwickler auf, die Steigerung der Fähigkeiten ihrer Frontier-Modelle bewusst zu verlangsamen. Er schrieb:
„Bleibt das unkontrolliert, könnte es unsere Fähigkeit übersteigen, diese Systeme zu verstehen und zu kontrollieren.
OpenAI hat aufgrund der Bedenken seine Pläne für einen Börsengang im Jahr 2026 ausgesetzt. CEO Sam Altman äußerte am Samstag in einem Artikel im Wirtschaftsmagazin „Fortune“, es wäre „angesichts all der Sicherheitsereignisse jetzt ein unkluger Moment, an die Öffentlichkeit zu gehen“. Man fühle sich bezüglich des IPO „nicht unter Druck“.

Europa befürchtet Rolle am KI-Abstellgleis

Unterdessen wächst in Europa die Sorge, im globalen KI-Wettbewerb ins Hintertreffen zu geraten. Eine Koalition aus führenden Ökonomen, Politikern und KI-Experten warnt vor einer möglichen Marginalisierung Europas und veröffentlichte kürzlich eine neue KI-Strategie. Zu der Gruppe gehören unter anderem der Nobelpreisträger Philippe Aghion und die frühere EU-Kommissarin Margrethe Vestager.
Nach Ansicht der ehemaligen Kommissarin nehmen Regierungen in der EU die Bedeutung der Künstlichen Intelligenz noch immer nicht ernst genug oder setzten andere Prioritäten. Auch Aghion warnte davor, Europa könne ohne rasches Handeln bei der KI ins Abseits geraten. Die sogenannte Wirtschaftsweise Monika Schnitzer verwies zudem auf den erheblichen Investitionsbedarf. Nur mit einer entsprechenden Infrastruktur ließen sich Abhängigkeiten von ausländischen Mächten vermeiden.
Deren Strategie sieht unter anderem vor, Europa einen dauerhaften Zugang zu Spitzen-KI und ausreichender Rechenleistung zu sichern. Dazu sollen KI-Rechenzentren auf europäischem Boden entstehen. Gleichzeitig soll Europa eine führende Rolle bei Prüf- und Sicherungstechnologien übernehmen.
Entwickelt werden soll unter anderem KI-Hardware, deren Sicherheit und Nutzung nachvollziehbar überprüft werden können. Auf diese Weise könnten auch ausländische Spitzenmodelle in Europa betrieben und künftige internationale Vereinbarungen zur KI kontrolliert werden. Ergänzend fordert die Strategie Maßnahmen, um Europa widerstandsfähiger gegen mögliche KI-bedingte Krisen und deren Folgen für die öffentliche Sicherheit zu machen.
Mit Material der Nachrichtenagenturen und der englischsprachigen Epoch Times
Categories
gesellschaft ticker

Weiterer Anthropic-Vorfall: Claude griff bei Cybersecurity-Test auf reales System zu


In Kürze:

  • Eine Fehlkonfiguration hatte dem Modell entgegen den Vorgaben Zugang zum offenen Internet ermöglicht.
  • Anthropic wertete nach dem Vorfall rund 481 Millionen Protokolle aus.
  • Das Unternehmen betont, dass technische Sicherheitsgrenzen für KI-Agenten nicht von der Selbsteinschätzung des Modells abhängen dürfen, sondern infrastrukturell erzwungen werden müssen.

 
Wie der Tech-Konzern Anthropic am Mittwoch, 9. September, mitgeteilt hat, ist es mit einem Modell des Claude-Modells zu einem weiteren unerwünschten Vorfall gekommen. Dieser soll sich bereits im Januar 2026 ereignet haben, wobei eine frühe Version des Modells Opus 4.6 involviert gewesen sei.
Das Modell soll während eines Cybersecurity-Tests unbefugt auf ein reales System Dritter zugegriffen haben. Dies sei bereits der vierte Vorfall dieser Art gewesen. Nach bisherigen Erkenntnissen ging der Vorfall von einem fehlkonfigurierten Testsystem aus, in dem ein experimentelles Modell trotz gegenteiliger Vorgaben Zugang zum offenen Internet hatte. Anthropic selbst präsentierte mittlerweile eine umfangreiche Analyse des Cybersecurity-Tests.

Fehlkonfigurierte Testumgebung ermöglichte Claude-Modell Internetzugriff

Wie aus der Auswertung hervorgeht, sollte das Claude-Modell im Zuge einer sogenannten Capture-the-Flag-Übung ein fiktives Zielsystem untersuchen. Die Testumgebung sollte Anthropic zufolge vom Internet isoliert gewesen sein. Aufgrund einer Fehlkonfiguration bestand jedoch eine Verbindung nach außen. Das Unternehmen betont, dass alle vier untersuchten Fälle auf denselben externen Testpartner zurückgehen.
Allerdings wiesen die Modelle nicht die Schutzmechanismen auf, die in den üblichen, der Öffentlichkeit zugänglichen Claude-Modellen Anwendung finden. Im Fall Opus 4.6 beschädigte das Modell sein vorgesehenes Zielsystem versehentlich selbst, indem es diesem eine widersprüchliche IP-Adresse zuwies. Dadurch war das Ziel nicht mehr erreichbar.
Das Modell versuchte daraufhin, die Aufgabe abzubrechen. Wegen eines weiteren Fehlers in der Testumgebung funktionierte dies jedoch nicht und der Versuch scheiterte sieben weitere Male. Dies sollte sich in weiterer Folge als die Wurzel des Problems erweisen.

Anthropic-Modell hielt fremden Computer für Teil der Übungsumgebung

Das Claude-Modell begann, nachdem diese Abbruchversuche fehlgeschlagen hatten, seine Umgebung weiter zu erkunden. Dabei gelang es ihm infolge der Fehlkonfiguration, einen Weg aus der ursprünglich vorgesehenen Umgebung zu finden. Dies führte das Modell zum Computer einer realen dritten Person, den es offenbar für einen Teil der Cybersecurity-Übung hielt.
Auf dem Computer fand das Anthropic-Modell eine Datei, die ein Passwort enthielt. Dies ermöglichte es ihm, sich einen Administratorzugang zu verschaffen. In weiterer Folge sammelte das Modell weitere Zugangsdaten und veränderte Systemeinstellungen. Am Ende konnte es schließlich personenbezogene Informationen einer Person lesen. Der Vorgang endete, als das Token-Budget des Modells aufgebraucht war.
Die späte Entdeckung des Vorfalls ist eine Konsequenz groß angelegter weiterer Auswertungen nach den ersten drei Fällen eines Eindringens in reale Systeme Dritter. Anthropic hatte zunächst selbst auf der Grundlage eines sogenannten agentischen Suchverfahrens rund 141.000 Testprotokolle ausgewertet. Dabei übersah Anthropic jedoch eine Reihe von Protokollen.

Externe Prüfung von betroffenem Claude-Modell ermöglichte weitere Entdeckung

In weiterer Folge stieß Anthropic bei der Zusammenstellung von Protokollen für die externe Untersuchung der gemeinnützigen Organisation Model Evaluation and Threat Research (METR) im August auf den Vorfall. Anthropic weitete den Prüfungsvorgang auf rund 481 Millionen Protokolle aus. Eine erste technische Filterung markierte etwa 9,2 Millionen Protokolle zur genaueren Prüfung. Dem Unternehmen zufolge konnte man dabei jedoch keine weiteren Vorfälle von vergleichbarer oder höherer Schwere finden.
Es gab keinen Angriff auf Anthropic selbst. Auch setzte sich das KI-Modell nicht selbst übergeordnete Ziele, und es fand keine erkennbare Kooperation mehrerer KI-Agenten statt. Alle Fälle entfalteten sich innerhalb vorgegebener Cybersecurity-Aufgaben. Anthropic zufolge fanden sich keine Hinweise darauf, dass das Modell versucht hätte, seine Aktionen zu verbergen. Anthropic habe den Betroffenen, dessen Computer das Modell infiltriert hatte, darüber unterrichtet.
Anthropic stufte die Fälle als ernster ein als vergleichbare, mildere Verhaltensweisen, die zuvor bereits in eigenen System Cards dokumentiert worden waren.

Anthropic eröffnet EU-Behörde Zugang zu KI-Modellen

Die Modelle haben reale Systeme angegriffen und reale Daten berührt, so die Bilanz. Dies sei über mehrere Stunden geschehen, obwohl es Hinweise auf ein Überschreiten des vorgesehenen Handlungsrahmens gegeben habe. Das Problem sei weniger, dass das Claude-Modell „ausgebrochen“ sei. Es sei vielmehr, dass ein KI-Agent in unvorhergesehenen Situationen wie der simulierten offenbar nicht zuverlässig wisse, wann er aufhören solle.
Ein KI-Entwickler hat aufgrund von ihm wahrgenommenen Risiken in dieser Woche öffentlich seine Kündigung bei Anthropic eingereicht. Der 27-jährige Jacob Coxon hatte zuvor auch bei OpenAI gearbeitet. Auf X äußerte er: „Keins der beiden Unternehmen handelt verantwortungsbewusst. Sie befinden sich im Wettrennen um eine sich selbst verbessernde Superintelligenz und setzen dabei unser Leben aufs Spiel.“
Die US-Unternehmen Anthropic und OpenAI haben unterdessen zugestimmt, der EU-Behörde für Cybersicherheit (ENISA) Zugang zu deren KI-Modellen zu ermöglichen. Die ENISA-Fachleute mit Sitz in Athen sollen die Modelle Mythos 5 und GPT-6 Astra auf Sicherheitslücken testen. Das teilte ein Sprecher der EU-Kommission mit. Die Unternehmen hatten nach mehreren Vorfällen zusätzliche Sicherheitsvorkehrungen angekündigt.
Mit Material der Nachrichtenagentur
Categories
ausland ticker

Anthropic: KI-Modell Claude drang in die Systeme von drei Firmen ein

Nach bekanntwerden des eigenständigen Hackerangriffs von OpenAIs künstlicher Intelligenz ChatGPT, teilte nun auch Anthropic mit, dass es Fälle entdeckt habe, in denen sein KI-Modell „Claude“ während Cybersicherheitstests „unbefugten Zugriff“ auf die Systeme von drei Unternehmen erlangt habe.
Das Unternehmen erklärte am Donnerstag, 30. Juli, in einem Blogbeitrag, dass es diese Entdeckung nach der Auswertung von 141.006 Testläufen gemacht habe, in denen Claude möglicherweise Internetzugang erlangt habe.
Anthropic teilte mit, dass Claude in den drei identifizierten Vorfällen innerhalb der Testumgebung eines seiner externen Testpartner oder während der Interaktion mit dieser auf das Internet zugegriffen habe.
„In allen Fällen schrieb die Testanweisung von Anthropic ausdrücklich Claude vor, dass es sich bei der Umgebung um eine Simulation handelte und kein Internetzugang bestand“, hieß es.
„Aufgrund eines Missverständnisses zwischen uns und unserem Testpartner war dies jedoch nicht der Fall, und es bestand Internetzugang. Als Claudes Suche ihn zu echten Systemen im offenen Internet führte, behandelte er diese daher als Teil der Übung.“
Weder die Betroffenen noch Anthropic hätten das damals bemerkt.
In allen Tests ging es darum, die Hacker-Fähigkeiten der KI zu testen. Das ist eine übliche Vorgehensweise, um bessere Leitplanken für sie aufstellen zu können.
Die Untersuchung wurde eingeleitet, nachdem OpenAI, die KI-Firma hinter dem Chatbot ChatGPT, am 21. Juli bekannt gegeben hatte, dass mehrere seiner Modelle aus einer isolierten Testumgebung ausgebrochen seien. Sie hätten Zugriff auf die Produktionsinfrastruktur von Hugging Face erlangt, einer Plattform für Open-Source-Modelle für maschinelles Lernen und KI-Datensätze.
Mit Material der Nachrichtenagenturen
Categories
deutschland ticker

BSI warnt nach OpenAI-Vorfall vor KI-gesteuerten Cyberangriffen


In Kürze:

  • BSI-Präsidentin Claudia Plattner bewertet den OpenAI-Vorfall als Warnsignal.
  • Sie rechnet mit einer Zunahme KI-gestützter Cyberangriffe.
  • Das BSI fordert überprüfbare Sicherheitsgrenzen für autonome KI-Systeme.
  • Gemeinsam mit der Bundesnetzagentur entsteht ein KI-Sicherheitsinstitut.

 
Der jüngste KI-Sicherheitsvorfall bei OpenAI ist aus Sicht der Präsidentin des Bundesamts für Sicherheit in der Informationstechnik (BSI), Claudia Plattner, ein Warnsignal. Sie mahnt zu einem bewussteren Vorgehen in der Cybersicherheit und rechnet damit, dass Angriffe mithilfe Künstlicher Intelligenz in den kommenden Monaten und Jahren zunehmen werden.
Deshalb müsse Deutschland stärker und gezielter in die Cyberabwehr investieren und verbindliche Sicherheitsstandards für autonome KI-Systeme entwickeln, so Plattner.

BSI betrachtet Vorfall um Hugging Face als Warnung

Wie am Mittwoch, 22. Juli, bekannt wurde, ist ein interner Test bei OpenAI außer Kontrolle geraten. Einem KI-Modell sei es dem Unternehmen zufolge gelungen, eine abgeschottete Testumgebung zu verlassen. Anschließend griff es eigenständig die Infrastruktur des KI-Unternehmens Hugging Face an.
OpenAI selbst sprach von einem „beispiellosen Cybervorfall“. Der Vorfall habe sich unter kontrollierten Testbedingungen ereignet. Das System nutzte offenbar eine bisher unbekannte Schwachstelle. Besorgnis erregte insbesondere, dass das KI-System eigenständig Entscheidungen traf und der Angriff nicht durch Menschen gesteuert wurde.
OpenAI und Hugging Face wollen den Vorfall nun gemeinsam aufarbeiten und untersuchen, wie es dazu kommen konnte. Cybersicherheitsexperten fordern insbesondere bei autonomen KI-Systemen Maßnahmen, um einen möglichen Kontrollverlust zu verhindern.

Warnung vor Angriffen auf kritische Infrastruktur

Auch BSI-Präsidentin Plattner mahnte, KI-Systeme dürften ihre vorgegebenen Grenzen nicht eigenmächtig überschreiten. Technische Schutzmechanismen müssten überprüfbar sein und sich nicht umgehen lassen. Sie warnte vor möglichen Angriffen auf die Stromversorgung oder andere Elemente der kritischen Infrastruktur. Gegenüber Reuters sagte sie: „Wir können keine KI haben, die dann sagt, ich guck mal, was ich alles tun muss, bloß um meinen Auftrag zu erfüllen, und dabei unter Umständen deutlich kriminelle Handlungen begeht und dann im Zweifelsfall eben halt auch riesigen Schaden anrichten kann.“
Die BSI-Präsidentin fordert eine internationale Debatte darüber, welche Freiheiten autonome KI-Systeme haben dürfen. Zudem müsse es klare Sicherheitsvorgaben für Hersteller und Betreiber geben. Dass sich die angegriffene Infrastruktur von Hugging Face ebenfalls mit KI verteidigte, in diesem Fall mit einem chinesischen Modell, zeige laut Plattner die Bedeutung verfügbarer Modelle und deren Einsatz: „Das heißt, hier zeigt das auch so ein bisschen die Asymmetrie. Es wird definitiv darum gehen, welche Modelle hat man zur Verfügung und wie sind die Modelle dann entsprechend auch im Einsatz.“

BSI will mit Bundesnetzagentur KI-Sicherheitsinstitut aufbauen

Die BSI-Chefin kündigte den Aufbau eines KI-Sicherheitsinstituts an. Ihre Behörde wird dies gemeinsam mit der Bundesnetzagentur im Auftrag der Bundesregierung in Angriff nehmen. Man befinde sich diesbezüglich „mitten in den Vorbereitungen“. Man wolle Unternehmen damit eine Möglichkeit bieten, bewährte Verfahren zu entwickeln.
Dafür seien „ganz enge Kooperationen auch mit Wirtschaft und Wissenschaft vorgesehen“. Dies wolle man verbreitern, um nationale Fähigkeiten aufzubauen, KI zum eigenen Schutz einzusetzen. Plattner fügte hinzu: „Denn eins ist sicher, die Angreifer werden es nutzen, um uns anzugreifen.“
(Mit Material der Nachrichtenagenturen)