Forschende aus den USA haben ein neues Tool entwickelt, das KI-Texte offenbar mit einer Wahrscheinlichkeit von 99 Prozent erkennen kann. Dazu haben sie den Ansatz am Beispiel wissenschaftlicher Dokumente getestet. Die Hintergründe.
ChatGPT macht es möglich, dass alle Menschen Zugriff auf Künstliche Intelligenz haben. Das hat allerdings nicht nur Vorteile. In der Vergangenheit kam es bereits öfter vor, dass das Sprachmodell von OpenAI missbräuchlich benutzt wurde.
ChatGPT für Betrug und Fälschung eingesetzt
Kriminelle nutzten die KI in einigen Fällen, um Straftaten zu begehen und Schüler:innen ließen sie ihre Hausaufgaben erledigen. Auch im Journalismus wurde ChatGPT hin und wieder mit dem Schreiben von Artikeln beauftragt.
Neue Stellenangebote
|
Growth Marketing Manager:in – Social Media GOhiring GmbH in Homeoffice |
|
|
Senior Social Media Manager:in im Corporate Strategy Office (w/d/m) Haufe Group SE in Freiburg im Breisgau |
|
|
Senior Communication Manager – Social Media (f/m/d) E.ON Energy Markets GmbH in Essen |
„Die Unterscheidung zwischen menschlichem Schreiben und künstlicher Intelligenz ist jetzt sowohl kritisch als auch dringend“, schreibt deshalb eine Forschungsgruppe der Universität Kansas in einem neuen Wissenschaftspapier. Sie haben eine neue Methode entwickelt, um ChatGPT-Texte von denen menschlicher Wissenschaftler:innen zu unterscheiden – und das sehr genau.
KI gegen KI: Neues Tool kann KI-Texte zu 99 Prozent richtig erkennen
„Mit einem Satz von 20 Merkmalen haben wir ein Modell erstellt, das mit einer Genauigkeit von über 99 Prozent den Autor als Mensch oder KI zuordnet“, heißt es im Forschungspapier.
Das KI-Modell fütterten die Expert:innen mit stilistischen und inhaltlichen Kriterien, in denen sich die jeweiligen Texte unterscheiden. Dabei nutzten sie Artikel des Wissenschaftsmagazins Science sowie Erzeugnisse von ChatGPT.
Sie unterteilten die typischen Unterschiede zwischen den beiden Textarten in vier Kategorien: Absatzlänge, Unterschiede in der Satzlänge, Unterschiede in der Zeichensetzung und beliebte Wörter.
Mensch vs. ChatGPT: So unterscheiden sich die Texte voneinander
Aus der Forschungsarbeit geht hervor, dass die von ChatGPT produzierten Absätze deutlich weniger komplex und kürzer sind als die Texte aus dem Wissenschaftsmagazin. Menschen wiederum bilden zudem weitaus längere Sätze und haben eine Vorliebe für zweideutige Sprache.
Außerdem verwenden sie häufig Wörter wie beispielsweise „aber“ und „obwohl“. Und auch einen Hang zu Satzzeichen, Zahlen und Eigennamen konnte die Forschungsgruppe im Vergleich beider Texte erkennen.
Für das Training ihres Modells nutzten die Wissenschaftler:innen aus Kansas die Softwarebibliothek XGBoost. Um ihre Leistungsfähigkeit zu testen, wählten die Forschenden eine Variante der Leave-One-Out-Kreuzvalidierung aus.
„Die gewählte Methode entfernte die Möglichkeit, dass irgendwelche Beispiele von einem bestimmten Autor oder einem einzelnen Aufsatz, im Fall von ChatGPT, verwendet werden konnten, um es einfacher zu machen, andere Absätze innerhalb desselben Aufsatzes (des gleichen Autors) zu identifizieren. Das Modell stützt sich daher nicht darauf, dass es frühere Beispiele von Werken des menschlichen Autors hat, dessen Aufsatz klassifiziert wird“, so die Wissenschaftler:innen.
Nicht das erste Tool, um KI-Texte zu erkennen
Das von den Forschenden aus Kansas erstellte Modell ist nicht der erste Ansatz, um KI-generierte Texte zu erkennen. In der Vergangenheit hat sogar ChatGPTs Entwickler OpenAI ein Tool veröffentlicht, das KI-Texte von menschlichen Erzeugnissen unterscheiden soll.
Und noch weitere Softwareunternehmen bieten verschiedene Tools an, die die gleiche Aufgabe erfüllen sollen. Die Trefferquote dürfte trotzdem geringer ausfallen als beim neuen Modell aus Kansas.
Auch interessant:
- New York verbietet den Einsatz von Chat GPT an öffentlichen Schulen
- ChatGPT Plugin: So kannst du mit deinen PDF-Dateien sprechen
- Neues KI-Gesetz: Ist das das Aus für ChatGPT in Europa?
- Mensch oder Maschine? 5 KI-Checker im Test
… und wie heisst das Tool oder wo bekommt man weitere Informationen?
Es gibt allerdings auch Tools, die einen Text von ChatGPT so verändern, dass er von den erkennenden Tools als menschlich bewertet wird. Ich denke, es wird kein KI-Erkennungstool jemals dauerhaft den maschinellen Beitrag erkennen können – ganz einfach weil die 1:1-Übernahme dieser KI-Texte nicht der Normalfall werden dürfte. Menschen nutzen KI als Zuarbeiter, bearbeiten die Ergebnisse aber in der Regel selbst.