Technologie

Dieses Tool soll nahezu jeden KI-Text erkennen können

KI-Texte erkennen, Künstliche Intelligenz, KI, ChatGPT, Chatbot, Sprachmodell, Artificial Intelligence, AI, Test
Cellpress
geschrieben von Beatrice Bode

Forschende aus den USA haben ein neues Tool entwickelt, das KI-Texte offenbar mit einer Wahrscheinlichkeit von 99 Prozent erkennen kann. Dazu haben sie den Ansatz am Beispiel wissenschaftlicher Dokumente getestet. Die Hintergründe.

ChatGPT macht es möglich, dass alle Menschen Zugriff auf Künstliche Intelligenz haben. Das hat allerdings nicht nur Vorteile. In der Vergangenheit kam es bereits öfter vor, dass das Sprachmodell von OpenAI missbräuchlich benutzt wurde.

ChatGPT für Betrug und Fälschung eingesetzt

Kriminelle nutzten die KI in einigen Fällen, um Straftaten zu begehen und Schüler:innen ließen sie ihre Hausaufgaben erledigen. Auch im Journalismus wurde ChatGPT hin und wieder mit dem Schreiben von Artikeln beauftragt.

„Die Unterscheidung zwischen menschlichem Schreiben und künstlicher Intelligenz ist jetzt sowohl kritisch als auch dringend“, schreibt deshalb eine Forschungsgruppe der Universität Kansas in einem neuen Wissenschaftspapier. Sie haben eine neue Methode entwickelt, um ChatGPT-Texte von denen menschlicher Wissenschaftler:innen zu unterscheiden – und das sehr genau.

KI gegen KI: Neues Tool kann KI-Texte zu 99 Prozent richtig erkennen

„Mit einem Satz von 20 Merkmalen haben wir ein Modell erstellt, das mit einer Genauigkeit von über 99 Prozent den Autor als Mensch oder KI zuordnet“, heißt es im Forschungspapier.

Das KI-Modell fütterten die Expert:innen mit stilistischen und inhaltlichen Kriterien, in denen sich die jeweiligen Texte unterscheiden. Dabei nutzten sie Artikel des Wissenschaftsmagazins Science sowie Erzeugnisse von ChatGPT.

Sie unterteilten die typischen Unterschiede zwischen den beiden Textarten in vier Kategorien: Absatzlänge, Unterschiede in der Satzlänge, Unterschiede in der Zeichensetzung und beliebte Wörter.

Mensch vs. ChatGPT: So unterscheiden sich die Texte voneinander

Aus der Forschungsarbeit geht hervor, dass die von ChatGPT produzierten Absätze deutlich weniger komplex und kürzer sind als die Texte aus dem Wissenschaftsmagazin. Menschen wiederum bilden zudem weitaus längere Sätze und haben eine Vorliebe für zweideutige Sprache.

Außerdem verwenden sie häufig Wörter wie beispielsweise „aber“ und „obwohl“. Und auch einen Hang zu Satzzeichen, Zahlen und Eigennamen konnte die Forschungsgruppe im Vergleich beider Texte erkennen.

Für das Training ihres Modells nutzten die Wissenschaftler:innen aus Kansas die Softwarebibliothek XGBoost. Um ihre Leistungsfähigkeit zu testen, wählten die Forschenden eine Variante der Leave-One-Out-Kreuzvalidierung aus.

„Die gewählte Methode entfernte die Möglichkeit, dass irgendwelche Beispiele von einem bestimmten Autor oder einem einzelnen Aufsatz, im Fall von ChatGPT, verwendet werden konnten, um es einfacher zu machen, andere Absätze innerhalb desselben Aufsatzes (des gleichen Autors) zu identifizieren. Das Modell stützt sich daher nicht darauf, dass es frühere Beispiele von Werken des menschlichen Autors hat, dessen Aufsatz klassifiziert wird“, so die Wissenschaftler:innen.

Nicht das erste Tool, um KI-Texte zu erkennen

Das von den Forschenden aus Kansas erstellte Modell ist nicht der erste Ansatz, um KI-generierte Texte zu erkennen. In der Vergangenheit hat sogar ChatGPTs Entwickler OpenAI ein Tool veröffentlicht, das KI-Texte von menschlichen Erzeugnissen unterscheiden soll.

Und noch weitere Softwareunternehmen bieten verschiedene Tools an, die die gleiche Aufgabe erfüllen sollen. Die Trefferquote dürfte trotzdem geringer ausfallen als beim neuen Modell aus Kansas.

Auch interessant: 

Über den Autor

Beatrice Bode

Beatrice ist Multi-Media-Profi. Ihr Studium der Kommunikations - und Medienwissenschaften führte sie über Umwege zum Regionalsender Leipzig Fernsehen, wo sie als CvD, Moderatorin und VJ ihre TV-Karriere begann. Mittlerweile hat sie allerdings ihre Sachen gepackt und reist von Land zu Land. Von unterwegs schreibt sie als Autorin für BASIC thinking.

2 Kommentare

  • Es gibt allerdings auch Tools, die einen Text von ChatGPT so verändern, dass er von den erkennenden Tools als menschlich bewertet wird. Ich denke, es wird kein KI-Erkennungstool jemals dauerhaft den maschinellen Beitrag erkennen können – ganz einfach weil die 1:1-Übernahme dieser KI-Texte nicht der Normalfall werden dürfte. Menschen nutzen KI als Zuarbeiter, bearbeiten die Ergebnisse aber in der Regel selbst.