Wer Künstliche Intelligenz (KI) einsetzt, muss mit Fehlern rechnen. Im militärischen Bereich können solche Fehler gefährliche und dramatische Konsequenzen nach sich ziehen. Selten erfährt man dazu etwas, weil militärische Einsätze in der Regel geheim bleiben.
Am 18. September jedoch berichtete der amerikanische Fernsehsender CNN, er habe „exklusiv“ davon erfahren, dass eine Analyse, die mittels KI erstellt worden sei, im Frühjahr dieses Jahres „fast einen Krieg ausgelöst hätte“. Während der Militärkampagne der USA gegen den Iran seien die US-Streitkräfte kurz davor gewesen, ein chinesisches Schiff anzugreifen. Laut CNN seien auf dem Schiff Bestandteile eines Atomwaffenprogramms vermutet worden.
Aufgrund der Brisanz hätten die Verantwortlichen der US-Operation den Bericht eines Analysten erneut überprüft und dann festgestellt, „dass dieser mithilfe künstlicher Intelligenz erstellt worden war – und dass ein Chatbot, den der Analyst verwendet hatte, die Ladung des Schiffes falsch identifiziert hatte.“ Der Bericht des Analysten sei, sagte eine der Quellen, „vollkommen falsch“ gewesen.
CNN beruft sich dabei nur auf anonyme Quellen, sodass das geschilderte Szenario nicht überprüfbar ist.
Tötung von Zivilisten in Kauf genommenn?
Gleiches gilt für einen israelischen Dokumentarfilm, der zeigen soll, wie der Einsatz von KI durch die Israelischen Verteidigungsstreitkräfte (IDF) zur massenhaften Tötung vermeintlicher Hamas-Kämpfer und Sympathisanten im Gazastreifen geführt habe. Dabei sei auch die Tötung von zahlreichen Zivilisten billigend in Kauf genommen worden, heißt es in der Doku.
Der Film mit dem Titel „NAZA“ wurde am 10. September bei den Filmfestspielen von Venedig mit dem Sonderpreis der Jury ausgezeichnet und erhielt laut Medienberichten 25 Minuten lang Standing Ovations.
Standing Ovations in Venedig für Yuval Abraham und Rachel Szor.
Foto: Scott A Garfitt/Invision/AP/dpa
„NAZA“ schildert, wie mithilfe von KI-Programmen Personen im Gazastreifen ausgewählt und dann gezielt getötet worden seien. Die beiden Filmemacher Rachel Szor und Yuval Abraham recherchierten für ihre Dokumentation laut ihren eigenen Angaben drei Jahre lang und nutzten dafür Interviews mit „zwei Dutzend Whistleblowern aus dem israelischen Militär oder den Geheimdiensten“.
In Deutschland kommt der 80-minütige Film ab 1. Oktober in den Kinos.
System seit 2024 bekannt
Ein Schwerpunkt von „NAZA“ liegt offenbar darin, zu zeigen, wie eine KI mittels Auswahlkriterien mitentschieden habe, welche Personen getötet werden sollten. „France 24“ zitiert einen der Whistleblower aus dem Film:
„Es geschah in großem Maßstab, wie in einer Fabrik.“
Ein KI-System, das von der IDF für die Zielidentifizierung genutzt wurde, heißt „Lavender“. Es nutze Daten aus zahlreichen Quellen wie dem Telekommunikationsnetz, Bewegungsmustern und Interaktionen bestimmter Personen und schlage dann Tötungen vor.
Die Information über „Lavender“ ist nicht neu. Bereits im Jahr 2024 berichteten zahlreiche internationale Medien über den Gebrauch dieses KI-Systems seitens der IDF.
37.000 palästinensische „Zielpersonen“ seien alleine in den ersten sechs Monaten seit Beginn des Gaza-Krieges im Oktober 2023 von „Lavender“ ausfindig gemacht worden, berichtete damals etwa die britische Tageszeitung „The Guardian“ unter Berufung auf „Geheimdienstquellen“. Die Zeitung hat den Film mitproduziert.
Bis zu diesem Zeitpunkt sei die Existenz der KI-gestützten Datenbank „Lavender“ noch unbekannt gewesen. Die Nachricht von damals ging zurück auf Berichte der israelischen Onlineportale „+972 Magazine“ sowie „Sikha Mekomit“. Sie veröffentlichten erstmals den Namen des KI-Systems und berichteten, dass das System in etwa 10 Prozent der Fälle Fehler mache. In einem der Berichte hieß es damals:
„Das Ergebnis war, wie die Quellen bezeugten, dass Tausende Palästinenser – die meisten von ihnen Frauen und Kinder oder Menschen, die nicht an den Kämpfen beteiligt waren – durch israelische Luftangriffe ausgelöscht wurden, insbesondere in den ersten Kriegswochen, aufgrund der Entscheidungen des KI-Programms.“
Das israelische Militär hat im Jahr 2024 bestätigt, dass das Programm „Lavender“ existiert.
Von Israelis aufgedeckt
Autor des Artikels war bereits damals Yuval Abraham, einer der beiden Filmemacher des jetzt veröffentlichten Dokufilms „NAZA“. Er berief sich in seinem Beitrag ausschließlich auf die Informationen von sechs nicht namentlich genannten israelischen Geheimdienstangehörigen und erklärte mit deren Hilfe die Funktionsweise des KI-Systems.
Die KI-Auswertungen seien „wie eine menschliche Entscheidung“ behandelt wurden. Die IDF habe sich in den ersten Wochen des Krieges „fast vollständig auf ‚Lavender‘“ verlassen, um Palästinenser sowie deren Wohnhäuser für mögliche Luftangriffe zu identifizieren.
In der Anfangsphase des Krieges habe die Armee den Offizieren pauschal die Erlaubnis erteilt, die Tötungslisten von „Lavender“ ungeprüft zu übernehmen. Es sei nicht hinterfragt worden, welche Entscheidungen die KI getroffen habe.
Eine Quelle habe gegenüber Abraham angegeben, dass das „menschliche Personal“ oft nur noch als „Abnicker“ für die Entscheidungen von „Lavender“ gedient habe.
Große Teile des Gazastreifens sind von Israel in eine Ruinenlandschaft verwandelt worden. Den Krieg hatte die islamistische Terrororganisation Hamas mit ihrem Massaker in Israel vor bald drei Jahren ausgelöst. (Archivbild)
Foto: Jehad Alshrafi/AP/dpa
Manche Entscheidungen hätte nur etwa „20 Sekunden“ gedauert, um einen Bombenangriff auf eine bestimmte Person zu genehmigen, obwohl bekannt gewesen sei, dass das System Fehlangaben liefere.
Weitere automatisierte Systeme, darunter eins mit dem Namen „Wo ist Papa?“, seien „speziell dazu eingesetzt“ worden, „die Zielpersonen aufzuspüren und Bombenangriffe durchzuführen, sobald diese die Wohnräume ihrer Familien betreten hatten“, erklärte Abraham weiter.
Die „Lavender“-Software habe Informationen analysiert, die über die rund 2,3 Millionen Einwohner des Gazastreifens mittels eines israelischen Massenüberwachungssystems gesammelt worden seien, heißt es in dem Beitrag von 2024 weiter.
Sie hätte anschließend die Wahrscheinlichkeit bewertet, mit der eine bestimmte Person im militärischen Flügel der Terrorgruppe Hamas oder der Splitterterrorgruppe Palästinensischer Islamischer Dschihad aktiv sei. Laut den Informanten Abrahams habe das System fast jeder einzelnen Person im Gazastreifen eine Bewertung von 1 bis 100 vergeben. Anhand dieser Skala wiederum sei ersichtlich geworden, wie wahrscheinlich es sei, dass eine Person ein Terrorist sei.
Laut dem von der Hamas geführten Gesundheitsministeriums im Gazastreifen wurden seit Kriegsbeginn 73.470 Menschen getötet. Die Zahlen unterscheiden nicht zwischen Zivilisten und Kämpfern und wurden nicht unabhängig überprüft.
Foto: Mohammad Abu Samra/AP/dpa
IDF: Menschliches Personal entscheidet
Ein nicht namentlich genannter Sprecher der IDF nahm am 11. September Stellung zur „NAZA“-Dokumentation: „Die IDF weist diese Vorwürfe kategorisch zurück.“
Der Film stütze sich auf anonyme Aussagen von Personen, „deren Identität nicht überprüft werden kann – darunter auch, ob sie in der IDF gedient haben, in welcher Funktion oder ob sie an den Vorgängen beteiligt waren, auf die sich die Vorwürfe beziehen“.
Der Sprecher weiter: „Entscheidungen über die Auswahl und Genehmigung von Luftangriffen in der IDF werden ausschließlich von menschlichem Personal […] getroffen und nicht von künstlicher Intelligenz.“
In einer Pressemitteilung im Jahr 2024 betonte die IDF, dass KI-Systeme nicht „eigenständig Ziele auswählen oder generieren“, sondern nur „als Hilfsmittel bei der Aufbereitung von Informationen“ dienen. Ferner sei der Prozess der Zielidentifizierung nur „ein Teil eines umfassenderen Zielauswahlprozesses“, und die Geheimdienstmitarbeiter, die Ziele identifizieren, seien nicht diejenigen, die auch über den Angriff auf diese Ziele entscheiden.
Die letztendliche Entscheidung des Einsatzkommandanten unterliege zudem den Regeln des Völkerrechts, wofür die IDF eine eigene Abteilung unterhalte.
Drohung mit Entzug der Staatsbürgerschaft
Der Stabschef des israelischen Militärs, Generalleutnant Eyal Zamir, wies an, rechtliche Schritte gegen den Film und die daran beteiligten Menschen zu prüfen, schreibt „The Times of Israel“.
Die Dokumentation diffamiere die israelischen Streitkräfte und gebe geheime Informationen weiter, die zur Produktion des Films verwendet worden seien.
Auch Israels Ministerpräsident Benjamin Netanjahu wurde deutlich in seiner Kritik. In einem Video, das er auf Telegram geteilt hatte, erklärte er:
„Wir kämpfen gegen die globale antisemitische Hetze, aber wenn sie von innen kommt, ist sie einfach unerträglich. Jetzt präsentieren zwei israelische Regisseure die IDF als Kriegsverbrecher und erhalten Beifall beim Filmfestival von Venedig.“
Kulturminister Miki Zohar erklärte, er werde „unverzüglich Maßnahmen ergreifen“, um den Filmemachern wegen Landesverrat die israelische Staatsbürgerschaft zu entziehen.
Israel befindet sich gerade im Wahlkampf mit einer vorgezogenen Parlamentswahl Ende Oktober. Daher können sowohl die Veröffentlichung des Films als auch die Drohungen des Kulturministers in diesem Zusammenhang gesehen werden.
Seit Beginn des Krieges hat das israelische Militär Journalisten den unabhängigen Zugang zum Gazastreifen untersagt.
Auch US-Armee sieht Gefahren im KI-Einsatz
Auch das amerikanische Militär befasst sich seit Langem mit den Vor- und Nachteilen des KI-Einsatzes. Hauptmann Tyrese Bender stellte in einem Beitrag in der Fachzeitschrift für Geheimdienstmitarbeiter der US-Armee, herausgegeben vom US Army Intelligence Center, am 7. Mai dieses Jahres fest:
Der Vormarsch von KI in der modernen Kriegsführung berge für den militärischen Nachrichtendienst „sowohl enorme Chancen als auch operative Risiken“.
Zwar verspreche die KI eine Steigerung der Analysegeschwindigkeit und -effizienz, „doch eine kritische Schwachstelle gefährdet diese Vorteile: die Verzerrung durch KI“. Gemeint seien damit „systematische Fehler in KI-Systemen, die aufgrund nicht repräsentativer Trainingsdaten, fehlerhafter Konzeption oder unsachgemäßer Nutzung zu ungenauen Ergebnissen führen“.
Bender weiter: Die Voreingenommenheit der KI könne das Risiko tödlicher Angriffe auf falsche Ziele, Nichtkombattanten oder sogar eigene Streitkräfte bergen.
„Die KI-gestützte Zielerfassung der israelischen Streitkräfte im Gazastreifen unterstreicht die Realität dieser Gefahren, da durch die Voreingenommenheit der KI bedingte Identifizierungsfehler zu unrechtmäßigen Verhören und tödlichen Angriffen auf palästinensische Zivilisten führten“, schreibt die KI-Expertin.
Anm. d. Red.: Dieser Artikel wurde zeitweise offline genommen, um ihn zu überarbeiten, da die erste Version nicht unseren Ansprüchen an Fairness und Ausgewogenheit entsprochen hat.