Falsche Antworten sind bei KI-Systemen bisher nicht unbedingt verwunderlich. Doch eine neue Studie zeigt nun, dass diese sogenannten Halluzinationen vorkommen, obwohl die KI-Systeme die richtigen Antworten wissen.
Halluzinationen sind ein für KI-Systeme bekanntes Problem. Damit bezeichnen Expert:innen falsche Antworten, die jedoch absolut überzeugend formuliert sind. Auch die Schwierigkeit der Frage spielt dabei keine Rolle, da Halluzinationen von KI-Systemen auch bei teilweise sehr einfachen Fragen vorkommen können.
Doch eine neue Studie zeigt nun, dass diese falschen Antworten nicht daher rühren, dass das jeweilige KI-System die Antwort nicht weiß. Denn meist ist dem KI-System die richtige Antwort durchaus bekannt.
Warum liefern KI-Systeme falsche Antworten?
Forschende vom Technion, dem Technologischen Institut für Israel, haben sich mit Halluzinationen von KI-Systemen beschäftigt. Dafür haben sie sich die Funktionsweise von KI-Systemen genauer angeschaut. An der Studie beteiligt waren unter anderem auch Google und Apple.
Die Studie trägt den Titel „LLMs wissen mehr, als sie zeigen“ und beschäftigt sich mit der „intrinsischen Darstellung von LLM-Halluzinationen“. Zu diesen Halluzinationen von KI-Systemen zählen laut den Forschenden unter anderem „sachliche Ungenauigkeiten, Verzerrungen und Denkfehler“.
Bei der Untersuchung sei den Forschenden „eine Diskrepanz zwischen der internen Kodierung und dem externen Verhalten“ von großen Sprachmodellen aufgefallen. Das bedeutet, dass die Systeme zwar die richtige Antwort kodieren, jedoch nach außen hin eine falsche Antwort erzeugen.
Antwort-Tokens enthalten die richtigen Informationen
Wie The Decoder berichtet, haben die Wissenschaftler:innen für ihre Untersuchung eine neue Methode entwickelt. Ziel war es, das „Innenleben“ von KI-Systemen besser untersuchen zu können.
Ihr Fokus lag dabei auf den sogenannten „exakten Antwort-Tokens“. Damit ist der Teil einer Antwort gemeint, der auch die tatsächliche Information enthält.
Große Sprachmodelle sind darauf trainiert, nicht nur die eigentliche Antwort zu nennen, sondern im ganzen Satz zu antworten. Bei der Frage nach der Hauptstadt Deutschlands wäre in einem ganzen Satz also das Wort „Berlin“ das exakte Antwort-Token.
Und in genau diesen Tokens befinden sich laut den Forschenden die Informationen darüber, ob eine Antwort richtig oder falsch ist. Dabei zeigte sich das überraschende Ergebnis der Untersuchung: Denn oft „wussten“ die KI-Systeme die richtige Antwort, haben diese jedoch nicht erteilt.
Sie können die richtige Antwort kodieren, aber durchweg eine falsche Antwort erzeugen.
Mit ihren Forschungsergebnissen konnten die Wissenschaftler:innen das Verständnis für Fehler bei KI-Systemen vertiefen. Dieses Wissen könnte nun dazu dienen, Fehleranalyse und -vermeidung deutlich zu verbessern.
Auch interessant:
