Forschende aus den USA haben ein neues Tool entwickelt, das KI-Texte offenbar mit einer Wahrscheinlichkeit von 99 Prozent erkennen kann. Dazu haben sie den Ansatz am Beispiel wissenschaftlicher Dokumente getestet. Die Hintergründe.
ChatGPT macht es möglich, dass alle Menschen Zugriff auf Künstliche Intelligenz haben. Das hat allerdings nicht nur Vorteile. In der Vergangenheit kam es bereits öfter vor, dass das Sprachmodell von OpenAI missbräuchlich benutzt wurde.
ChatGPT für Betrug und Fälschung eingesetzt
Kriminelle nutzten die KI in einigen Fällen, um Straftaten zu begehen und Schüler:innen ließen sie ihre Hausaufgaben erledigen. Auch im Journalismus wurde ChatGPT hin und wieder mit dem Schreiben von Artikeln beauftragt.
„Die Unterscheidung zwischen menschlichem Schreiben und künstlicher Intelligenz ist jetzt sowohl kritisch als auch dringend“, schreibt deshalb eine Forschungsgruppe der Universität Kansas in einem neuen Wissenschaftspapier. Sie haben eine neue Methode entwickelt, um ChatGPT-Texte von denen menschlicher Wissenschaftler:innen zu unterscheiden – und das sehr genau.
KI gegen KI: Neues Tool kann KI-Texte zu 99 Prozent richtig erkennen
„Mit einem Satz von 20 Merkmalen haben wir ein Modell erstellt, das mit einer Genauigkeit von über 99 Prozent den Autor als Mensch oder KI zuordnet“, heißt es im Forschungspapier.
Das KI-Modell fütterten die Expert:innen mit stilistischen und inhaltlichen Kriterien, in denen sich die jeweiligen Texte unterscheiden. Dabei nutzten sie Artikel des Wissenschaftsmagazins Science sowie Erzeugnisse von ChatGPT.
Sie unterteilten die typischen Unterschiede zwischen den beiden Textarten in vier Kategorien: Absatzlänge, Unterschiede in der Satzlänge, Unterschiede in der Zeichensetzung und beliebte Wörter.
Mensch vs. ChatGPT: So unterscheiden sich die Texte voneinander
Aus der Forschungsarbeit geht hervor, dass die von ChatGPT produzierten Absätze deutlich weniger komplex und kürzer sind als die Texte aus dem Wissenschaftsmagazin. Menschen wiederum bilden zudem weitaus längere Sätze und haben eine Vorliebe für zweideutige Sprache.
Außerdem verwenden sie häufig Wörter wie beispielsweise „aber“ und „obwohl“. Und auch einen Hang zu Satzzeichen, Zahlen und Eigennamen konnte die Forschungsgruppe im Vergleich beider Texte erkennen.
Für das Training ihres Modells nutzten die Wissenschaftler:innen aus Kansas die Softwarebibliothek XGBoost. Um ihre Leistungsfähigkeit zu testen, wählten die Forschenden eine Variante der Leave-One-Out-Kreuzvalidierung aus.
„Die gewählte Methode entfernte die Möglichkeit, dass irgendwelche Beispiele von einem bestimmten Autor oder einem einzelnen Aufsatz, im Fall von ChatGPT, verwendet werden konnten, um es einfacher zu machen, andere Absätze innerhalb desselben Aufsatzes (des gleichen Autors) zu identifizieren. Das Modell stützt sich daher nicht darauf, dass es frühere Beispiele von Werken des menschlichen Autors hat, dessen Aufsatz klassifiziert wird“, so die Wissenschaftler:innen.
Nicht das erste Tool, um KI-Texte zu erkennen
Das von den Forschenden aus Kansas erstellte Modell ist nicht der erste Ansatz, um KI-generierte Texte zu erkennen. In der Vergangenheit hat sogar ChatGPTs Entwickler OpenAI ein Tool veröffentlicht, das KI-Texte von menschlichen Erzeugnissen unterscheiden soll.
Und noch weitere Softwareunternehmen bieten verschiedene Tools an, die die gleiche Aufgabe erfüllen sollen. Die Trefferquote dürfte trotzdem geringer ausfallen als beim neuen Modell aus Kansas.
Auch interessant:
