Können intelligente Lügendetektoren an den Grenzen dabei helfen, Betrüger schneller zu erkennen und die EU sicherer zu machen? Genau das verspricht das Pilotprojekt der Europäischen Union „iBorderCtrl“. Das ist absoluter Dünnpfiff! Ein Kommentar.
Beginnen wir erstmal mit den Fakten. Was ist eigentlich iBorderCtrl? Hinter iBorderCtrl steckt ein größeres EU-Projekt zu automatisierten Grenzkontrollen. Dazu gehören unter anderem Technologien, die gefälschte Dokumente zuverlässiger erkennen können sowie biometrische Checks von Einreisenden.
All das wäre nicht sonderlich interessant, wenn das Projekt nicht noch einen weiteren Bestandteil hätte – einen KI-basierten Lügendetektor. Dieser wird aktuell an den Grenzen von Ungarn, Griechenland und Lettland getestet.
Bei diesen Tests werden Reisende zunächst von einem Avatar zu ihrem Gepäck oder ihrer Herkunft befragt. Der Detektor erteilt ihnen anschließend einen „Risiko-Score“. Dieser steht dafür, wie wahrscheinlich es ist, dass die Person beim Gespräch gelogen hat.
Je nach Risiko-Score sollen Grenzbeamte später entscheiden, ob der Reisende genauer verhört werden soll oder durchgewunken werden kann.
Für mich geht es an dieser Stelle erstmal nicht um moralische Fragen oder Probleme zum Datenschutz. Ich habe viel grundlegendere Zweifel an dem Ganzen. Denn dieser angeblich so intelligente Lügendetektor ist meiner Meinung nach komplette Pseudowissenschaft.
Maschinen können Emotionen erkennen, aber keine Lügen
Das sind die zwei Dinge, die die Wissenschaftler hinter dem Projekt bislang behaupten – und die ihn angeblich so zuverlässig machen:
- iBorderCtrl kann am Gesichtsausdruck von Reisenden erkennen, ob jemand lügt .
- Die Methode hat eine Erfolgsquote von 75 Prozent.
Beides ist kompletter Schwachsinn!
Fangen wir bei den Gesichtsausdrücken an.
Der Lügendetektor von iBorderCtrl kann angeblich anhand von Mikro-Expressionen im Gesicht erkennen, ob jemand lügt.
Mikro-Expressionen sind kleinste, unfreiwillige Veränderungen im Gesicht, die nur Bruchteile von Sekunden dauern. Sie verraten, wie ein Mensch sich wirklich fühlt.
Es gibt sogar ein Klassifizierungssystem für diese Gesichtsausdrücke, das vom Psychologen Paul Ekman in den 70er Jahren entwickelt wurde. Darin sind insgesamt 24 verschiedene Mikro-Expressionen aufgelistet.
Tatsächlich nutzen Technologieuternehmen dieses Schema, um ihre Algrithmen in der Erkennung von Emotionen zu schulen – und die KIs werden immer besser darin, menschliche Emotionen anhand dieser Mikro-Expressionen zu „lesen“.
Die Software von Affectiva, dem Marktführer in der Gesichtserkennung, verzeichnet bei einfachen Ausdrücken eine Trefferquote von über 90 Prozent, bei komplexeren Ausdrücken um die 80 Prozent. Demzugrunde liegt eine Datenbasis von 7,4 Millionen Gesichtern aus 87 Ländern.
Doch: Einen Gesichtsausdruck richtig einordnen ist nicht dasselbe, wie eine Lüge erkennen. Es ist eine Sache, zusammengezogene Augenbrauen zu erkennen und anhand dessen anzunehmen, jemand sei wütend. Doch es ist eine völlig andere, zu wissen, ob dieser Ausdruck ein echtes Gefühl ist oder eine Lüge.
Wenn also selbst hochpräzise KIs, wie die von Affectiva, die Wissenschaftler, Programmierer und Psychologen jahrelang mit Millionen von Gesichtern trainiert haben, das nicht einwandfrei können – wie kann iBorderCtrl dies in einem Feldversuch von wenigen Monaten geschafft haben?
Mit dem Datensatz können die Forscher die Wand tapezieren
Vor allem, wenn man genauer auf die angeblich außergewöhnlich gute Erfolgsquote von 75 Prozent schaut, darf man stark daran zweifeln.
Die Quote ist sehr gut, keine Frage. Vor allem, wenn man das mit der menschlichen Trefferquote von 50 Prozent vergleicht. Um herauszufinden, ob jemand lügt, können wir jemanden ins Gesicht schauen oder eine Münze werfen. Die Wahrscheinlichkeit, dass wir richtig liegen, ist die gleiche. Es ist also nicht abwegig zu denken, dass ein intelligenter Algorithmus das vielleicht besser kann als ein Mensch.
Doch die hohe Erfolgsquote von iBorderCtrl basiert auf einer Datenbank von 32 Reisenden. 32??? Hochpräzise Emotionserkennungsprogramme greifen auf eine Datenbank von Millionen von Gesichtern zurück. iBorderCtrl kann daher meiner Ansicht nach mit diesem Datensatz die Wand tapezieren. So irrelevant ist er, wissenschaftlich gesehen.
Algorithmus mit Fake-Lügen geschult
Auch das könnte man vielleicht noch schlucken. Doch die Fehlerhaftigkeit der Technologie hinter dem Lügendetektor von iBorderCtrl zeigt sich besonders, wenn man sich anschaut, WIE die Forscher zu diesen Ergebnissen gekommen sind.
Die bisherigen Tests wurden mit Freiwilligen durchgeführt. In der Praxis sah das, nach Angaben der Projektleiter, so aus: Die Wissenschaftler haben zunächst Reisende gefragt, ob sie bei dem Test mitmachen wollen. Danach haben sie einer Gruppe von Probanden gesagt, sie sollen auf die Fragen der Grenzbeamten wahrheitsgetreu antworten. Die anderen sollten lügen.
Jetzt stellt euch jemanden vor, der völlig entspannt in einem wissenschaftlichen Versuch lügt. Er muss keine Angst davor haben, dass ihn jemand erwischt. So sitzt die Person also völlig entspannt am Einreiseschalter und „lügt“.
Man muss kein studierter Psychologe sein, um zu erkennen, dass diese Gesichtsausdrücke sicherlich nicht die gleichen sind, wie bei einer echten Lüge. Die Forscher haben außerdem keinen Vergleichssatz mit der Testperson in einer echten Lügensituation.
Selbst wenn man davon ausgeht, dass Mikro-Expressionen zeigen können, wenn jemand lügt. Und selbst wenn man glaubt, dass der Algorithmus von iBorderCtrl das so gut kann, wie bislang kaum eine andere KI: Letzten Endes wird der Avatar mit Fake-Lügen trainiert.
Wie soll er dann bitte in einer normalen Situation zuverlässig eine richtige Lüge erkennen?
Der Lügendetektor von iBorderCtrl ist daher vielleicht noch als Gedankenspiel oder philosophische Frage interessant. Ein wissenschaftlich seriöses Projekt ist es sicher nicht.
iBorderCtrl gehört in den Müll
Darüber hinaus gibt es noch einige andere Punkte bei dem Pilotprojekt, bei dem sich mir die Zehennägel kräuseln.
- Was passiert, wenn ein Reisender zufälligerweise, weil er bei der Einreise aufgeregt ist zum Beispiel, eine Mikro-Expression aufsetzt und damit einen hohen Risiko-Score kassiert? Nach aktuellem Verhaltensprotokoll können Migrationsbeamte den Verdächtigen danach genauer befragen. Man steht also erstmal generell unter Tatverdacht.
- Wenn diese Beamten dann auch noch wissen, wie schlecht ihre eigenen Instinkte in der Lügenerkennung sind und sich eher auf den Avatar verlassen als auf ihren Eindruck: Wie kann man sie dann bei einer Fehleinschätzung der KI von seiner Unschuld überzeugen?
- Was passiert mit geübten Lügnern, die ihre Mikro-Expressionen extrem gut im Griff haben?
- Wo ist die Kontrolle? Der Computer zeigt den Beamten nämlich nicht an, warum er eine Person als Lügner einstuft. Mal abgesehen von der Problematik zum Datenschutz, wie soll ein Beamter so wissen, wie er den Risiko-Score interpretieren soll?
- Der Algorithmus hinter iBorderCtrl soll selbstlernend sein. Wenn er aber ehrliche Menschen mal aus Versehen als Lügner identifiziert oder Lügner nicht erkennt – kann man das irgendwie im System markieren? Bislang scheint das nicht vorgesehen. Die Gefahr ist meiner Ansicht nach dann sehr groß, dass der Algorithmus sich selbst mit falschen Ergebnissen füttert – und so die Fehlerquote exponentiell steigt.
Das ist also, was wir nach aktuellem Projektstand feststellen können:
- Die Methode, die iBorderCtrl zur Lügendetektion nutzt, ist wissenschaftlich nicht nachhaltig belegt.
- Die Datenbasis ist bislang viel zu gering, um stichhaltige Aussagen zur Trefferquote machen zu können.
- Der Algorithmus wird mit Fake-Lügen trainiert.
- Es gibt keinen Kontrollmechanismus.
Kann mir dann bitte jemand erklären, warum dieses pseudowissenschaftliche Pilotprojekt nicht schon längst verworfen wurde und auf dem Müllhaufen gelandet ist? Und bitte nicht ins Recycling, sondern in den Sondermüll!
