Militärische Beinahekonfrontationen auf Basis von KI-Fehlern nehmen zu. Menschen sind bereits gestorben. Zuletzt standen die USA kurz davor, ein chinesisches Schiff wegen einer technischen Halluzination zu entern. Um das Schlimmste zu verhindern, fordern Experten Schutzmechanismen und kurze Kommunikationswege. Willkommen im Kalten Krieg 2.0. Eine kommentierende Analyse.
Unser exklusives Format »Break the News«, in dem wir aktuelle Nachrichten in ihre Einzelteile zerlegen, erscheint immer zuerst in UPDATE, unserem täglichen Tech-Briefing. Hier kannst du dich über 12.000 anderen Lesern anschließen und dich kostenlos anmelden:
Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung
Wie KI beinahe einen militärischen Konflikt ausgelöst hätte
- Es war im Frühjahr dieses Jahres. Das US-Militär erhält einen Geheimdienstbericht, in dem von einem chinesischen Schiff die Rede ist, das im Nahen Osten Komponenten für die Herstellung von Atomwaffen transportiert. Die Verantwortlichen bereiten daraufhin laut mehreren Quellen eine Abfangaktion vor: Das Schiff soll von bewaffneten Soldaten geentert werden. Militärflugzeuge sollen sich bereits in der Luft befunden haben. Erst kurz vor Beginn der Mission fällt auf, dass Chatbots eingesetzt wurden, um den Bericht zu erstellen. Und sie hatten einen Fehler gemacht, weil sie die Ladung des Schiffs falsch analysiert haben. Laut einer anonymen Quelle mit Insider-Wissen habe die Halluzination der KI „beinahe einen Krieg ausgelöst“ (via CNN).
- Mögliche durch KI ausgelöste Konflikte sind eine Sache. Doch tatsächlich hat die Technologie bereits Menschenleben gekostet. Zu Beginn des Iran-Kriegs trafen zwei US-Raketen vom Typ Tomahawk eine Schule in Minab. Dabei starben mehr als 150 Menschen, darunter mindestens 123 Kinder. Laut Beteiligten an einer unveröffentlichten Untersuchung des Pentagon wurde zu sehr auf das KI-System Maven des Konzerns Palantir vertraut. Es behauptete auf Basis veralteter Daten und Satellitenbilder wohl, dass an Stelle der Schule eine Militäranlage stehen würde. Listen mit möglichen Zielen können mit KI deutlich schneller angefertigt werden – auch deshalb konnten von den USA in den ersten 24 Stunden mehr als 1.000 Ziele angegriffen werden. Tödliche Fehler werden offenbar als Kollateralschäden hingenommen.
- Damit ein solcher KI-Fehler keinen noch verheerenderen, im schlimmsten Fall sogar atomaren, Konflikt auslöst, schlagen Sicherheitsexperten aus den USA und China eine Reihe von Schutzmechanismen vor. Diese erinnern stark an die Atomrüstungskontrolle aus dem Kalten Krieg. Die vielleicht wichtigste Maßnahme: ein sogenanntes „Rotes Telefon“. Das ist eine direkte Kommunikationslinie zwischen Entscheidungsträgern, wie sie damals von den USA und der Sowjetunion eingerichtet wurde. Wenn einer Regierung zum Beispiel ein Cyberangriff auf ihr Atomwaffennetz angezeigt wird und nur wenige Minuten für eine Reaktion bleiben, kann eine solche Einrichtung nicht nur Leben, sondern die ganze Menschheit retten.
Warum der Mensch KI-Fehler kaum noch abfangen kann
Im Kalten Krieg gab es eine Nacht, in der das Schicksal der Menschheit auf der Kippe stand und die sehr an die neue Konstellation erinnert. Es war der 26. September 1983, als ein sowjetisches Frühwarnsystem meldete, dass sich US-Raketen im Anflug befänden. Der diensthabende Offizier Stanislaw Petrow stufte die Warnung als Fehlalarm ein – und lag damit richtig. Eventuell wurde so ein Atomkrieg verhindert. Der aktuelle Vorfall hat eindeutige Parallelen: die Maschine, die sich irrt – und der Mensch, der den Fehler gerade noch abfängt. Das Problem ist nur, dass die Zeit, die für eine Reaktion bleibt, durch KI immer kürzer wird. Der „Human in the Loop“ wird weiterhin existieren, doch seine Rolle könnte irgendwann nur noch Symbolcharakter haben.
Die Chefs der großen amerikanischen KI-Unternehmen warnen momentan davor, dass die Technologie zu schnell Fortschritte macht. Sie fordern deshalb eine Entwicklungspause. Eine zu fortschrittliche KI könnte auch in militärischer Hinsicht gefährlich werden. Allerdings demonstrieren die genannten Fälle ein anderes Problem: Der Mensch ist im Umgang mit Künstlicher Intelligenz noch immer zu naiv. Im privaten Kontext mögen die Folgen meist harmlos sein, doch wenn es um das Leben von Menschen geht, braucht es bessere Schutzmechanismen. Laut einem Bericht von CNN sind es vor allem junge Analysten, die digitalen Werkzeugen oft unkritisch vertrauen. Das Phänomen kennt vermutlich jeder KI-Nutzer auch im kleinen Rahmen: Der Chatbot wirkt kompetent, also hält man seine Aussagen für wahr.
Und es gibt eine weitere Parallele zum Kalten Krieg: Keine Seite wird der Forderung nach einem Entwicklungsstopp nachkommen – aus Angst, dass die andere Seite heimlich weiter Fortschritte erzielt. Niemand will zurückfallen. Verteidigungsminister respektive Kriegsminister Pete Hegseth gab Anfang des Jahres bekannt, KI allen zivilen und militärischen Mitarbeitern seines Ministeriums zugänglich machen zu wollen. Einheitliche Standards beim Umgang mit den Ergebnissen gibt es jedoch nicht. Das Fehlerpotenzial ist also riesig. Es genügt, dass ein KI-Fehler in einen offiziellen Bericht gelangt, und schon ist die Halluzination legitimiert. Grenzen werden dabei nicht akzeptiert, wie der Fall Anthropic zeigt. Das Unternehmen wurde vom US-Militär unter anderem durch OpenAI ersetzt, nachdem es sich geweigert hatte, Schutzmechanismen gegen autonome Waffen und Massenüberwachung im Inland zu eliminieren.
Stimmen
- US-Verteidigungsminister Pete Hegseth bei der Präsentation seiner KI-Strategie im Januar: „Wir werden Experimente entfesseln, bürokratische Hürden beseitigen, unsere Investitionen gezielt einsetzen und den Umsetzungsansatz demonstrieren, der erforderlich ist, um unsere Führungsrolle im Bereich der militärischen KI zu sichern.“ Ein Memo zur Strategie verspricht eine „Demokratisierung von KI-Experimenten und -Transformationen im gesamten Ministerium, indem wir Amerikas weltweit führende KI-Modelle direkt in die Hände unserer drei Millionen zivilen und militärischen Mitarbeiter auf allen Geheimhaltungsstufen legen.“
- Ein Sprecher von Palantir äußerte sich gegenüber Bloomberg zu den Vorwürfen in Bezug auf die Bombardierung der Schule im Iran: Das Unternehmen sei „weder für die zugrunde liegenden Daten noch für die Aufdeckung von Lücken in den Geheimdienstinformationen verantwortlich.“ Es gebe keine Hinweise darauf, dass die Software des Unternehmens fehlerhaft gewesen sei. Trotzdem habe Palantir laut einer mit den Vorgängen vertrauten Person nach dem Angriff bestimmte Funktionen hinzugefügt, die „die zugrunde liegenden Geheimdienstinformationen erneut überprüfen, um Faktoren zu identifizieren, die ein Ziel disqualifizieren würden, und Unstimmigkeiten und Ungenauigkeiten zu kennzeichnen, die bei einer menschlichen Überprüfung möglicherweise übersehen wurden.“
- Anselm Küsters, KI-Experte beim Centrum für Europäische Politik (cep), über die Risiken des Einsatzes von KI in einem militärischen Kontext: „In vielen Fällen haben Operatoren nur sehr wenig Zeit, um einen KI-Vorschlag zu prüfen – oft ohne nachvollziehen zu können, wie das System zu seiner Einschätzung gekommen ist oder welche unbeabsichtigten Folgen es haben kann. Unter diesen Bedingungen wird aus Kontrolle schnell Abhängigkeit.“ Damit menschliche Kontrolle unter Einsatzbedingungen weiterhin funktioniere, brauche es verbindliche, zuverlässige und überprüfbare Verfahren.
Rotes Telefon 2.0: Reichen die Maßnahmen gegen KI im Krieg?
Selbst in einer harmonischen Weltordnung wäre KI ein Sicherheitsrisiko. Doch im Jahr 2026 ist sie es umso mehr. Immerhin setzten sich Donald Trump und Xi Jinping am 24. September zusammen. Ob in diesem Rahmen wirksame Schutzvorkehrungen getroffen wurden, wird die Zukunft zeigen – und ist zumindest fraglich. Wenn schon die USA nicht auf die Bremse treten, wird es China erst recht nicht tun. Zudem zweifeln Experten daran, ob ein Rotes Telefon auf chinesischer Seite aufgrund der vertikalen Hierarchien überhaupt funktionieren würde. Oder anders ausgedrückt: ob ein untergeordneter Offizier tatsächlich entscheidend reagieren würde, ohne zuvor die Zustimmung von ganz oben einzuholen.
Die Menschheit hat es durch den Kalten Krieg geschafft, und sie kann es auch durch den Kalten Krieg 2.0 schaffen. Aber nicht ohne Regeln, die für alle gelten. Zum Beispiel muss klar festgelegt werden, was der Begriff „bedeutsame menschliche Kontrolle“ konkret aussagt und wie er in der Praxis umgesetzt wird. Es kann nicht sein, dass das Personal für die Kontrolle zusammengestrichen wird, während die Technologie das Tempo immer weiter erhöht.
Auch mit der Geheimhaltung muss Schluss sein. Wenn die KI einen Fehler macht, muss dieser offen dargelegt, gemeldet und diskutiert werden. Nur so können die Systeme verbessert und gemeinsame Standards entwickelt werden. Leider ist das momentan kaum realistisch, wie der Fall Minab im Iran zeigt, für den die USA bis heute keine Verantwortung übernommen haben.
Solche Berichte werden uns in Zukunft immer öfter erreichen. Deshalb drängt die Zeit. Im Kalten Krieg wurde das Rote Telefon erst 1963 eingeführt. Also ein Jahr nach der Kubakrise, die beinahe zu einem Atomkrieg geführt hätte. Die Frage ist, wie lange es dauert, bis die Großmächte diesmal reagieren. Sind tote Kinder und ein beinahe geentertes Schiff noch nicht genug? Diesmal gibt es vielleicht keinen Petrow, der die Katastrophe verhindert. Oder der Offizier, der an seiner Stelle steht, hat gar nicht mehr die Zeit zu reagieren. Denn KI ermöglicht es, „schneller zu einer schlechten Idee zu kommen“, wie es ein anonymer Insider ausdrückt.
Unser exklusives Format »Break the News«, in dem wir aktuelle Nachrichten in ihre Einzelteile zerlegen, erscheint immer zuerst in UPDATE, unserem täglichen Tech-Briefing. Hier kannst du dich über 12.000 anderen Lesern anschließen und dich kostenlos anmelden:
Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung
Auch interessant:
