Erstmals hat eine KI den klassischen Turing-Test bestanden. Ein Modell wurde dabei sogar häufiger für einen Menschen gehalten als echte Personen. Erfolg für die KI, doch was bedeutet das für unseren Umgang mit der Technologie?
Kann eine Maschine denken wie ein Mensch? Diese Frage wollte der britische Mathematiker Alan Turing bereits 1950 mit seinem „Imitationsspiel“ beantworten. Später ging dieses Experiment als Turing-Test in die Geschichte ein.
Die Idee: Wenn ein Mensch im Gespräch nicht mehr zuverlässig erkennen kann, ob er mit einer Maschine oder einem anderen Menschen kommuniziert, hat die Maschine den Test bestanden. Nun ist genau das passiert.
Du willst nicht abgehängt werden, wenn es um KI, Green Tech und die Tech-Themen von Morgen geht? Über 12.000 Vordenker bekommen jeden Tag die wichtigsten News direkt in die Inbox und sichern sich ihren Vorsprung.
Nur für kurze Zeit: Anmelden und mit etwas Glück Apple AirPods gewinnen!
Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung. Beim Gewinnspiel gelten die AGB.
Was ist der Turing Test?
Klassischerweise läuft der Turing-Test so ab, dass eine Versuchsperson gleichzeitig mit zwei Gesprächspartnern kommuniziert. Einer davon ist ein Mensch, der andere eine Maschine. Beide versuchen, als Mensch durchzugehen. Der Prüfer muss am Ende entscheiden, wer wer ist. Kann er das nicht zuverlässig tun, hat die Maschine den Turing-Test bestanden.
Genau dieses Prinzip haben die Kognitionswissenschaftler Cameron Jones und Benjamin Bergen von der University of California San Diego in einer neuen Studie genutzt. Knapp 500 Teilnehmer führten jeweils fünfminütige Chats, in einer Zusatzstudie auch 15-minütige, und mussten anschließend urteilen.
Das Ergebnis: GPT-4.5 von OpenAI wurde in 73 Prozent der Fälle für den Menschen gehalten, also häufiger als die echten menschlichen Gesprächspartner. Auch Metas Modell LLaMa-3.1-405B war mit 56 Prozent statistisch nicht mehr von Menschen zu unterscheiden.
Auch der Chatbot Eliza aus den 1960er Jahren nahm an der Studie teil. Eliza flog allerdings in den meisten Fällen auf, weil das regelbasierte Programm nicht flexibel auf Gespräche reagieren kann.
„Wir haben herausgefunden, dass fortgeschrittene LLMs, wenn sie die richtigen Prompts erhalten, denselben Tonfall, dieselbe Direktheit, denselben Humor und dieselbe Fehlbarkeit wie Menschen an den Tag legen können“, erklärt Studienautor Cameron Jones in einer Pressemitteilung.
Obwohl wir wissen, dass LLMs problemlos Wissen zu fast jedem Thema produzieren können, hat dieser Test gezeigt, dass sie auch soziale Verhaltensweisen überzeugend darstellen können, was erhebliche Auswirkungen darauf hat, wie wir über KI denken.
KI braucht Rollenanweisung, um Test zu bestehen
Der Erfolg der KI im Turing-Test wirkt zunächst so, als ob die Technologie dem Menschen überlegen wäre. Ein Detail ist laut der Forscher dennoch entscheidend: Die Modelle bestanden den Test nur, wenn sie vorher eine sogenannte Persona-Anweisung erhielten.
Die Vorgabe war, eine junge, introvertierte Person zu spielen, die die Internetkultur kennt und Slang benutzt. Ohne diese Anweisung fiel GPT-4.5 auf eine Erfolgsquote von 36 Prozent, LLaMa auf 38 Prozent.
„Sie haben die Fähigkeit, menschenähnlich zu wirken, aber vielleicht nicht so sehr die Fähigkeit, selbst herauszufinden, was nötig wäre, um menschenähnlich zu wirken“, erklärt Co-Autor Benjamin Bergen.
Das wirft eine grundsätzliche Frage auf: Was taugt ein Test, dessen Ergebnis sich durch die richtige Anweisung so massiv verschieben lässt? Wenn Menschen der Maschine erst sagen müssen, wie sie menschlich wirkt, hat dann wirklich die Maschine den Test bestanden oder eher die Menschen, die den Prompt geschrieben haben?
KI Turing-Test: Warum Bestehen nicht gleich Intelligenz bedeutet
Auch die Forscher stellen den Test infrage: Der Turing-Test sei ursprünglich entwickelt worden, um zu untersuchen, ob Maschinen mit der menschlichen Intelligenz mithalten können, erklärt Bergen. „Aber heute wissen wir, dass KI viele Fragen schneller und genauer beantworten kann als Menschen.“
Das eigentliche Problem ist also nicht die reine Gehirnleistung. Zu sehen, dass Maschinen den Test bestehen können, und zu sehen, wie sie ihn bestehen, zwingt uns dazu, neu zu überdenken, was er eigentlich misst. Zunehmend misst er die Menschenähnlichkeit.
Interessant ist dabei, dass die Versuchspersonen kaum klassische Intelligenzfragen stellten. Stattdessen achteten sie auf Sprachstil und Persönlichkeit. Wer zu perfekt antwortete, wirkte verdächtig. Die Testpersonen untersuchten also nicht Wissen oder Logik, sondern suchten nach Fehlern.
Am Ende sagt das wohl mehr über uns aus als über die Maschinen. Offenbar versuchen wir Menschlichkeit nicht an Klugheit, sondern an Unvollkommenheit zu erkennen. Allerdings scheinen unsere Erkennungsmerkmale so vorhersehbar zu sein, dass sich eine KI gezielt darauf trainieren lässt.
KI besteht Turing-Test: Bedeutung für unsere Online-Kommunikation
Die Forscher warnen deutlich vor den Folgen. „Wir müssen wachsamer sein; wenn man im Internet mit Fremden interagiert, sollten die Menschen viel weniger zuversichtlich sein, dass sie wissen, ob sie mit einem Menschen oder einem LLM sprechen“, sagt Jones.
Denn: Selbst wer aufmerksam ist und direkt vergleichen kann, könnte den Unterschied unter Umständen nicht mehr erkennen. Bergen verweist zudem auf Akteure, die Bots gezielt einsetzen wollen, um Menschen zur Herausgabe sensibler Daten, zu Wahlentscheidungen oder zu Käufen zu bewegen.
Die Forscher hoffen nach eigenen Angaben, mit dieser Arbeit das öffentliche Verständnis dafür zu schärfen, was diese Systeme mittlerweile leisten können und welche Art von Schutzmaßnahmen die Gesellschaft möglicherweise benötigt.
Google lässt dich jetzt selbst bestimmen, welche Quellen du in der Suche häufiger siehst. Mit zwei schnellen Klicks kannst du BASIC thinking kostenlos als bevorzugte Quelle hinzufügen und damit unabhängigen Tech-Journalismus unterstützen. Vielen Dank!
Auch interessant:
