Künstliche Intelligenz (KI) kann offenbar kein allgemeines Verständnis der realen Welt entwickeln. Denn eine aktuelle Studie aus den USA zeigt, dass selbst große Sprachmodelle abstürzen, wenn sich die Regeln in einer Situation ändern.
Sie kann Gedichte und Computerprogramme schreiben, riesige Datenmengen auswerten und sogar Auto fahren: Künstliche Intelligenz zeigt mittlerweile beeindruckende Fähigkeiten und kommt in verschiedenen Bereichen zum Einsatz.
Dadurch kann der Eindruck entstehen, dass generative KI auch in der Lage ist, allgemeine Wahrheiten über die Welt zu erlernen. Wie eine aktuelle Studie des Massachusetts Institute of Technology (MIT) zeigt, ist das jedoch nicht der Fall.
KI hat kein sinnvolles Verständnis der realen Welt
Um diesen Sachverhalt zu untersuchen, hat das MIT gemeinsam der Harvard Universität und der Universität Cornell ein beliebtes generatives KI-Modell Hinweise zum Abbiegen in New York City erstellen lassen. Das System lieferte Ergebnisse mit nahezu perfekter Genauigkeit, ohne eine interne Karte der Stadt zu haben.
Das Problem: Als die Gruppe für die Untersuchung einige Straßen schloss und Umleitungen hinzufügte, stürzte die Leistung des Modells ab. Eine nähere Betrachtung ergab, dass die KI nicht existierende Straßen generierte, die sich zwischen dem Gitter bogen und weit Verbindungen zwischen weit entfernten Kreuzungen herstellten.
Die Studie handelt von einem generativen KI-Modell: dem sogenannten Transformator. Er gilt als Rückgrat von LLMs wie GPT-4. Transformatoren werden auf einer riesigen Menge von sprachbasierten Daten trainiert, um den nächsten Token in einer Sequenz vorherzusagen – beispielsweise das nächste Wort in einem Satz.
Weltverständnis ist für künftige KI-Systeme wichtig
Die Ergebnisse zeigen, dass Transformatoren bei bestimmten Aufgaben erstaunlich gut abschneiden können, ohne die Regeln zu verstehen. Sollen künftig allerdings KI-Systeme entwickelt werden, die genaue Weltmodelle erfassen können, muss der Forschungsansatz ein anderer sein.
Denn bricht eine KI zusammen, wenn sich die Aufgabe oder die Umgebung ändert, könnte das schwerwiegende Auswirkungen auf generative KI-Modelle haben, die in der realen Welt eingesetzt werden.
„Die Frage, ob LLMs kohärente Weltmodelle lernen, ist sehr wichtig, wenn wir diese Techniken nutzen wollen, um neue Entdeckungen zu machen“, erklärt Ashesh Rambachan, Assistenzprofessor für Wirtschaftswissenschaften und leitender Forscher im MIT Laboratory for Information and Decision Systems (LIDS).
Forscher wollen Bewertungsmaßstäbe ändern
Das MIT-Team will deshalb eine größere Anzahl von Problemen angehen, bei denen einige Regeln nur teilweise bekannt sind. Außerdem wollen sie ihre Bewertungsmaßstäbe auf reale, wissenschaftliche Probleme anwenden.
„Oft sehen wir, dass diese Modelle beeindruckende Dinge tun, und denken, dass sie etwas von der Welt verstanden haben müssen. Ich hoffe, dass wir die Leute davon überzeugen können, dass man über diese Frage sehr sorgfältig nachdenken muss und dass wir uns bei der Beantwortung nicht auf unsere eigenen Intuitionen verlassen müssen“, so Rambachan.
Auch interessant:
