Technologie

CriticGPT: Neues KI-Modell von OpenAI soll Fehler in ChatGPT erkennen

CriticGPT, Fehlererkennung
Unsplash.com/BoliviaInteligente
geschrieben von Felix Baumann

OpenAI hat mit CriticGPT kürzlich ein neues KI-Modell vorgestellt. Es soll Fehler innerhalb von ChatGPT ausfindig machen. Studien zeige, dass das Tool den Menschen in 63 Prozent der Fälle übertrifft und KI damit besser machen kann. 

Spätestens seit der Einführung von ChatGPT ist Künstliche Intelligenz für viele Menschen in den Alltag vorgedrungen. Doch das System ist nicht fehlerfrei und kann teilweise gewisse Vorurteile entwickeln. Daher stellte das hinter dem Tool stehende Unternehmen OpenAI kürzlich ein neues Modell namens CriticGPT vor. Dieses wurde speziell entwickelt, um Fehler in dem Code von ChatGPT zu erkennen.

Die Entwicklung soll den Prozess der Anpassung von KI-Systemen an menschliche Anforderungen verbessern, indem sie menschliche Prüfer unterstützt und die Genauigkeit der Ausgaben von großen Sprachmodellen (LLMs) erhöht. CriticGPT, basierend auf der GPT-4-Familie. Es analysiert Code und weist auf potenzielle Fehler hin. Das erleichtert es menschlichen Prüfern, Fehler zu erkennen, die sonst möglicherweise übersehen werden.


Neue Stellenangebote

Growth Marketing Manager:in – Social Media
GOhiring GmbH in Homeoffice
Communication Expert / Content Designer Social Media (m/w/d)
ISR Information Products AG in Braunschweig
Social Media Manager Marketing & Kommunikation (m/w/d)
ISR Information Products AG in Braunschweig

Alle Stellenanzeigen


CriticGPT: Fehlererkennung in 63 Prozent besser als beim Menschen

In einer Forschungsarbeit mit dem Titel „LLM Critics Help Catch LLM Bugs“ zeigten die OpenAI-Forscher, dass CriticGPT in 63 Prozent der Fälle besser als menschliche Prüfer abschnitt. Das lag unter anderem daran, dass das Tool weniger unbrauchbare „Kleinigkeiten“ und weniger falsche Alarme erzeugte.

OpenAI trainierte das Modell darauf, eine Vielzahl von Codierungsfehlern zu erkennen. Dazu schulte das Team den Algorithmus mit einer Datenbank von Codebeispielen, die absichtlich eingefügte Fehlern enthielt.

Diese Methode ermöglicht es CriticGPT, sowohl eingefügte als auch natürlich vorkommende Fehler in den Ausgaben von ChatGPT zu erkennen. Doch das Tool konnte nicht nur Fehler im eigentlichen Code ausfindig machen, sondern auch in anderen Aufgaben.

In Experimenten identifizierte das Modell Fehler in 24 Prozent der ChatGPT-Trainingsdaten, die menschliche Prüfer zuvor als fehlerfrei einstuften. Diese Fehler bestätigte ein Team später, was das Potenzial von CriticGPT zur Prüfung von nicht codierten Aufgaben unterstreicht.

Effektivität bei komplexeren Eingaben bisher nicht bewiesen

Trotz der vielversprechenden Ergebnisse hat CriticGPT, wie alle KI-Modelle, seine Grenzen. Das Team bei OpenAI trainierte es auf relativ kurze Antworten von ChatGPT, was möglicherweise nicht ausreicht, um längere, komplexere Aufgaben zu bewerten. Außerdem ist auch CriticGPT nicht vollständig vor falschen Ausgaben gefeit.

OpenAI plant, CriticGPT-ähnliche Modelle in seine eigenen Prozesse zu integrieren, um den Trainern eine durch KI angetriebene Unterstützung zu bieten. Das soll ein Schritt hin zu besserern Werkzeugen zur Bewertung von Ausgaben von LLM-Systemen, die ohne zusätzliche Unterstützung schwer für Menschen zu bewerten sind, sein.

Auch interessant:

Über den Autor

Felix Baumann

Felix Baumann ist seit März 2022 Redakteur bei BASIC thinking. Bereits vorher schrieb er 4 Jahre für den Online-Blog Mobilegeeks, der 2022 in BASIC thinking aufging. Nebenher arbeitet Felix in einem IT-Unternehmen und beschäftigt sich daher nicht nur beim Schreiben mit zukunftsfähigen Technologien.

Kommentieren