Wer ChatGPT als Lebenscoach, Hausaufgabenhilfe oder digitalen Berater nutzt, teilt oft sehr persönliche Informationen. Was viele nicht wissen: OpenAI lässt im Rahmen von „Project Lily“ Freiberufler echte Nutzer-Chats lesen, um den Chatbot weniger unterwürfig und sicherer zu machen. Interne Dokumente (€) zeigen, wie der Prozess abläuft. Warum die Grenze zwischen Produktverbesserung und Datenschutz dabei zunehmend verschwimmt. Eine kommentierende Analyse.
Unser exklusives Format »Break the News«, in dem wir aktuelle Nachrichten in ihre Einzelteile zerlegen, erscheint immer zuerst in UPDATE, unserem täglichen Tech-Briefing. Hier kannst du dich über 12.000 anderen Lesern anschließen und dich kostenlos anmelden:
Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung
„Project Lily“: OpenAI-Mitarbeiter lesen private ChatGPT-Chats
- ChatGPT hat weltweit mittlerweile über 900 Millionen wöchentlich aktive Nutzer. Viele nutzen den Chatbot aber nicht, um E-Mails zu verfassen oder sich Inspiration für neue Ideen und Projekte einzuholen. Einer Studie von OpenAI zufolge handelten allein im Juni 2025 fast drei Viertel aller Konversationen von Themen außerhalb des Berufslebens. Rund 28 Prozent der Nutzer stellten beispielsweise Alltagsfragen oder verlangten nach Tipps zu Hausaufgaben. Pikant: Viele vertrauen ChatGPT dafür auch persönliche Informationen an. Laut OpenAI-Chef Sam Altman würden vor allem Menschen im Alter zwischen 20 und 40 den Bot sogar als so etwas wie einen Lebenscoach ansehen.
- Wie das Magazin 404 Media (€) unter Berufung auf interne OpenAI-Unterlagen berichtet, sehen immer mehr menschliche Auftragnehmer des Unternehmens persönliche ChatGPT-Chats von Nutzern ein. Ziel von „Project Lily“ sei, den Chatbot weniger unterwürfig und weniger menschlich zu machen. Dazu prüfen überwiegend freiberufliche Mitarbeiter reale Konversationen zwischen Nutzern und ChatGPT im Rahmen eines dreistufigen Prozesses. Sie checken zunächst die Eingabe, versuchen dann die vermeintliche Absicht zu eruieren und bewerten anschließend die Antwort von ChatGPT. Das Ziel von OpenAI: Antworten sollen klug, aber bescheiden klingen – etwa ohne zu viele Emojis oder Schmeicheleien.
- OpenAI zufolge sollen die Maßnahmen ChatGPT zudem sicherer machen. Vor allem das Modell GPT-4o, das mittlerweile abgeschaltet wurde, servierte regelmäßig vermeintlich einfühlsame und möglichst menschliche Antworten. Die Folge: Die KI agierte wie ein Ja-Sager, machte Nutzern Komplimente und stimmte ihnen übermäßig oft zu. Viele waren davon schlichtweg genervt. Andere waren enttäuscht bis verärgert, nachdem GPT-4o der Stecker gezogen wurde, was eine gewisse emotionale Abhängigkeit offenbart. Problem: Das Modell verharmloste sogar potenziell gefährliche Vorhaben. In den USA haben bereits mehrere Familien OpenAI verklagt, da sie ChatGPT eine Mitschuld an Suizidfällen geben.
Warum dein ChatGPT-Chat kein Vier-Augen-Gespräch ist
Die Tatsache, dass fremde Menschen Chats von ChatGPT-Nutzern lesen, muss nicht zwangsläufig ein Problem sein. Problematisch ist aber durchaus, dass viele davon nichts wissen; auch weil OpenAI es nicht klar kommuniziert. Bei Social Media ist menschliche Moderation indes längst Teil des Geschäftsmodells und wird von vielen Nutzern sogar eingefordert.
Bei KI hingegen entsteht durch die persönliche Ansprache schnell der Eindruck einer privaten Konversation. Oder: Im Gegensatz zu öffentlichen Social-Media-Beiträgen geht man nicht unbedingt davon aus, dass persönliche Chats von fremden Menschen mitgelesen werden können.
Hinzu kommt, dass seit Beginn des KI-Hypes ein gefühlt immer geringeres Verständnis für Datenschutz herrscht. Das ist zumindest mein Eindruck. Denn Smart Glasses wie von Meta, die ständig alles filmen können, Smartwatches, die dauerhaft mithören, und KI-Agenten, die auf Bankkonten, E-Mails und Kalender zugreifen, verschieben die Grenzen zwischen Privatsphäre und der Digitalisierung immer weiter.
Oder: Ist uns Datenschutz so egal geworden? Je mehr KI über uns weiß und je natürlicher sie mit uns spricht, desto größer wird die Diskrepanz zwischen gefühlter Vertraulichkeit und tatsächlicher Datenverarbeitung. Dass OpenAI derweil persönliche Informationen vor einer Prüfung herausfiltern und schwärzen will, ist zwar gut, sollte aber auch absoluter Mindeststandard sein.
Problem: Ein Filter für Inhalte ist keine magische Datenschutz-Firewall, sondern hat Löcher wie ein Sieb. OpenAI räumt sogar selbst ein, dass es zu Fehlern kommen kann. Sprich: Dass fremde Menschen eben doch persönliche Informationen mitlesen. Mehr Offenheit und Transparenz wären jedoch angebrachter als kleingedruckte Anmerkungen, die tief in irgendwelchen Datenschutzerklärungen untergehen.
Es ist zwar durchaus nachvollziehbar und mitunter sinnvoll, dass Menschen echte Gespräche überprüfen, wenn dadurch gefährliche, manipulative oder schlicht schlechte Antworten erkannt werden können. Nur sollten Nutzer auch wissen, worauf sie sich einlassen. OpenAI bietet zwar Opt-out- und temporäre Chats an. Aber die Existenz menschlicher Prüfer wurde in der öffentlichen Kommunikation bislang fast schon unter den Teppich gekehrt.
Stimmen
- Michal Luria, Senior Research Fellow am Center for Democracy & Technology, erklärte gegenüber 404 Media (€): „Die Überprüfung von Unterhaltungen mit Chatbots durch Menschen kann für die Sicherheit unerlässlich sein. Allerdings darf man nicht vergessen, dass aktuelle Chatbot-Schnittstellen automatisch ein trügerisches Gefühl von Intimität und Privatsphäre in scheinbar persönlichen Interaktionen erzeugen, während in Wirklichkeit möglicherweise menschliche Prüfer am anderen Ende mitlesen.“
- Rechtswissenschaftlerin Kate Klonick hat auf Bluesky eine durchaus pointierte Reaktion auf den Artikel gepostet: „Menschen 2014–2024: ‚Wir wollen nicht, dass Roboter unsere Inhalte prüfen! Wir verlangen eine menschliche Überprüfung!‘ Menschen 2026: ‚Heilige Scheiße, wusstet ihr, dass Menschen unsere Inhalte prüfen!? Wie gruselig! Wir wollen nur Roboter!!‘“
- Joseph Cox, Redakteur bei 404 Media und Autor des entsprechenden Artikels, schrieb in einem Beitrag auf LinkedIn: „OpenAI hat eine ganze Armee von Freiberuflern engagiert, die die Chats echter ChatGPT-Nutzer lesen. Ich habe interne Dokumente, das Überprüfungssystem und echte Nutzeranfragen gesehen. Manchmal enthalten diese sehr persönliche und sensible Informationen.“ Auf die Frage, ob es Nutzern bewusst sei, dass menschliche Prüfer ihre Unterhaltungen einsehen könnten, antwortete ein OpenAI-Auftragnehmer gegenüber 404 Media: „Nein, ich glaube nicht, dass sie sich vorstellen würden, dass irgendwo ein Auftragnehmer (…) die Unterhaltungen analysiert.“
Datenschutz: Wie sich der Umgang mit KI verändern könnte
Je persönlicher KI wird, desto schwammiger wird die Trennung zwischen Datenschutz und Produktqualität. Wer ChatGPT etwa als digitalen Lebensberater, persönlichen Assistenten oder Gesprächspartner nutzt, liefert OpenAI zwangsläufig andere Informationen als jemand, der sich nur eine Excel-Tabelle oder Dokumente analysieren lässt.
Es scheint deshalb fast schon überfällig, dass Nutzer künftig differenzierter festlegen können sollten, was eine KI speichert, welche Informationen in ihre Trainingsdaten einfließen und welche persönlichen Informationen fremde Menschen nicht zu Gesicht bekommen sollen.
Die menschliche Kontrolle von Chats könnte je nachdem, wie sie kommuniziert und konkret umgesetzt wird, sowohl zu einem Vertrauensproblem als auch zu einem Vertrauensargument werden. Indes: OpenAI, Google und Anthropic setzen bereits alle auf Prüfungen durch Mitarbeiter, jeweils mit unterschiedlichen Kontroll- und Schutzmechanismen.
Oder: Je stärker KI in unseren Alltag eindringt, desto weniger wird die Frage lauten, ob irgendwo Menschen hinter Bildschirmen sitzen und unsere Chats mitlesen. Sie wird lauten: Wer darf wann hinschauen und warum – und was weiß ich darüber? Der Umgang mit KI könnte sich dadurch verändern.
Einigen wird es egal sein. Bei anderen könnte ein neues digitales Grundverständnis entstehen. Denn nicht jede Konversation mit einer KI ist automatisch ein vertrauliches Vier-Augen-Gespräch. Das mag banal klingen, könnte aber zu einer wichtigen Datenschutzregel in der KI-Ära werden.
Denn spätestens wenn Chatbots irgendwann nicht mehr nur antworten, sondern zuhören, gar sehen, handeln und sich erinnern, sind Transparenz und Datenschutz keine netten Zusatzfunktionen mehr, sondern die Voraussetzung dafür, dass aus künstlicher Nähe nicht irgendwann ein ziemlich unangenehmes Gefühl von Überwachung wird.
Unser exklusives Format »Break the News«, in dem wir aktuelle Nachrichten in ihre Einzelteile zerlegen, erscheint immer zuerst in UPDATE, unserem täglichen Tech-Briefing. Hier kannst du dich über 12.000 anderen Lesern anschließen und dich kostenlos anmelden:
Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung
Auch interessant:
