OpenAI hat mit CriticGPT kürzlich ein neues KI-Modell vorgestellt. Es soll Fehler innerhalb von ChatGPT ausfindig machen. Studien zeige, dass das Tool den Menschen in 63 Prozent der Fälle übertrifft und KI damit besser machen kann.
Spätestens seit der Einführung von ChatGPT ist Künstliche Intelligenz für viele Menschen in den Alltag vorgedrungen. Doch das System ist nicht fehlerfrei und kann teilweise gewisse Vorurteile entwickeln. Daher stellte das hinter dem Tool stehende Unternehmen OpenAI kürzlich ein neues Modell namens CriticGPT vor. Dieses wurde speziell entwickelt, um Fehler in dem Code von ChatGPT zu erkennen.
Die Entwicklung soll den Prozess der Anpassung von KI-Systemen an menschliche Anforderungen verbessern, indem sie menschliche Prüfer unterstützt und die Genauigkeit der Ausgaben von großen Sprachmodellen (LLMs) erhöht. CriticGPT, basierend auf der GPT-4-Familie. Es analysiert Code und weist auf potenzielle Fehler hin. Das erleichtert es menschlichen Prüfern, Fehler zu erkennen, die sonst möglicherweise übersehen werden.
CriticGPT: Fehlererkennung in 63 Prozent besser als beim Menschen
In einer Forschungsarbeit mit dem Titel „LLM Critics Help Catch LLM Bugs“ zeigten die OpenAI-Forscher, dass CriticGPT in 63 Prozent der Fälle besser als menschliche Prüfer abschnitt. Das lag unter anderem daran, dass das Tool weniger unbrauchbare „Kleinigkeiten“ und weniger falsche Alarme erzeugte.
OpenAI trainierte das Modell darauf, eine Vielzahl von Codierungsfehlern zu erkennen. Dazu schulte das Team den Algorithmus mit einer Datenbank von Codebeispielen, die absichtlich eingefügte Fehlern enthielt.
Diese Methode ermöglicht es CriticGPT, sowohl eingefügte als auch natürlich vorkommende Fehler in den Ausgaben von ChatGPT zu erkennen. Doch das Tool konnte nicht nur Fehler im eigentlichen Code ausfindig machen, sondern auch in anderen Aufgaben.
In Experimenten identifizierte das Modell Fehler in 24 Prozent der ChatGPT-Trainingsdaten, die menschliche Prüfer zuvor als fehlerfrei einstuften. Diese Fehler bestätigte ein Team später, was das Potenzial von CriticGPT zur Prüfung von nicht codierten Aufgaben unterstreicht.
Effektivität bei komplexeren Eingaben bisher nicht bewiesen
Trotz der vielversprechenden Ergebnisse hat CriticGPT, wie alle KI-Modelle, seine Grenzen. Das Team bei OpenAI trainierte es auf relativ kurze Antworten von ChatGPT, was möglicherweise nicht ausreicht, um längere, komplexere Aufgaben zu bewerten. Außerdem ist auch CriticGPT nicht vollständig vor falschen Ausgaben gefeit.
OpenAI plant, CriticGPT-ähnliche Modelle in seine eigenen Prozesse zu integrieren, um den Trainern eine durch KI angetriebene Unterstützung zu bieten. Das soll ein Schritt hin zu besserern Werkzeugen zur Bewertung von Ausgaben von LLM-Systemen, die ohne zusätzliche Unterstützung schwer für Menschen zu bewerten sind, sein.
Auch interessant:
