Ein neuer KI-Benchmark kürt die momentan leistungsstärksten Modelle auf dem Markt. Getestet wurden realistische Szenarien in Bereichen wie Forschung und Wirtschaft. Interessant ist auch, dass günstige Vertreter häufig besser abschneiden.
Wir hören jeden Tag, wie toll und leistungsfähig künstliche Intelligenz geworden ist. In vielen Tests schneiden die neuesten Modelle sehr gut ab. Doch wie machen sich die KIs, wenn sie tatsächlich mit komplexen Fachthemen konfrontiert werden? Im Rahmen einer neuen Benchmark-Studie wurden die üblichen Quizfragen durch realistische Arbeitsszenarien ersetzt. Das Ergebnis: Selbst die beste KI scheiterte an den meisten Aufgaben und konnte gerade einmal zwölf von 100 möglichen Punkten erreichen.
KI ist oft teuer und fehlerhaft
Getestet wurden die Modelle in insgesamt elf Bereichen: Chipdesign, Cybersecurity, Biologie, Finanzen, Recht, Quant Trading (algorithmischer Börsenhandel), rekursive Selbstverbesserung, Hardwaredesign, Materialwissenschaft, Alignment (Ausrichtung von KI auf menschliche Werte) und Softwareentwicklung. Laut dem Herausgeber SemiAnalysis sind das die Branchen, die von der Technologie in den nächsten Jahren am meisten verändert werden. Insgesamt wurden 20 aktuelle Modelle unter die Lupe genommen.
Smarter als dein Feed
Lass dich mit unserem Tech-Briefing UPDATE bei KI und den Tech-News von morgen nicht abhängen – kostenlos täglich in der Inbox von über 13.000 Lesern.
Gratis zur Anmeldung:
Zugriff auf alle PDF-Guides
Mit deiner Anmeldung akzeptierst du unsere Datenschutzerklärung.
Der Test war teilweise so schwer, dass in manchen Bereichen alle Modelle im Prinzip auf eine Punktzahl von 0 gekommen wären. Aus diesem Grund wurden zum Beispiel bei Finanzen und Recht Teilpunkte vergeben, anstatt nach „bestanden“ und „durchgefallen“ zu bewerten. In anderen Segmenten drückt oft ein Sicherheitsfilter die Wertung. Bei Fragen zu Cybersecurity, Biologie oder Alignment führt dieser teilweise zur Verweigerung einer Antwort.
Neben dem Gesamtwert sind also auch die einzelnen Fachbereiche entscheidend, welches Modell das beste für einen Job ist. Ebenfalls eine große Rolle spielen natürlich auch die Kosten. Das beste Preis-Leistungs-Verhältnis bieten derzeit GPT-6 Luna und DeepSeek 4.1 Flash. Von der reinen Leistung her können die Modelle aber nicht ganz oben mitspielen. Wer es hingegen in die Top Ten geschafft hat, verraten wir im folgenden Ranking.
Platz 10: Muse Wonder (Meta)
Den Auftakt macht Metas Muse Wonder, das auf einen GDPx-Score von 6,8 Prozent kommt. Die Kosten liegen bei 15,63 Dollar pro getesteter Aufgabe. Zum Vergleich: GPT-6 Luna und DeepSeek 4.1 Flash benötigten weniger als einen Dollar.
