Nach dem Tod ihres 14-jährigen Sohnes hat eine Mutter in Florida eine Zivilklage gegen Character.ai eingereicht. Der Vorwurf: Ein Chatbot des Unternehmens soll den Jugendlichen zunächst besessen gemacht und anschließend in den Selbstmord getrieben haben.
Am 28. Februar 2024 tauschte der 14-jährige Teenager Sewell Setzer eine letzte Nachricht mit „Dany“ aus, einem KI-Charakter, der auf einer Figur aus der Serie Game of Thrones basiert. Nur wenige Augenblicke später beging er Selbstmord. Das berichtete seine Mutter der New York Times.
Chatbot von Character.ai für Selbstmord verantwortlich?
Am 23. Oktober 2024 reichte Megan Garcia vor einem Bundesgericht in Florida deshalb eine Zivilklage gegen Character.ai ein. Der Vorwurf: Der Chatbot des KI-Unternhemens soll ihren Sohn zunächst besessen gemacht und ihn anschließend in den Suizid getrieben haben.
Du willst nicht abgehängt werden, wenn es um KI, Green Tech und die Tech-Themen von Morgen geht? Über 10.000 Vordenker bekommen jeden Tag die wichtigsten News direkt in die Inbox und sichern sich ihren Vorsprung.
Nur für kurze Zeit: Anmelden und mit etwas Glück 100€ Amazon-Guthaben gewinnen!
Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung. Beim Gewinnspiel gelten die AGB.
Garcia unterstellt dem Unternehmen zudem Fahrlässigkeit, widerrechtliche Tötung und betrügerische Handelspraktiken. Denn die Technologie sei „gefährlich und ungetestet“.
Zum Hintergrund: Die Plattform von Character.ai zählt laut eigenen Angaben rund 20 Millionen Nutzer. Das Unternehmen wird auf einen Wert von einer Milliarde US-Dollar taxiert. Auf der Plattform können Nutzer Charaktere erstellen und mit ihnen chatten. Sie reagieren dabei ähnlich wie echte Menschen.
Die Technologe basiert auf einem sogenannten Large Language Model, ähnlich wie bei ChatGPT. Die Chatbots werden mit Unmengen von Daten „trainiert“.
Muss KI reguliert werden?
Character.ai reagierte auf die Klage und den Tod des Teenagers in einem Statement. „Wir sind untröstlich über den tragischen Verlust eines unserer Nutzer und möchten der Familie unser tiefstes Beileid aussprechen“, heißt es darin.
Das Unternehmen wolle neue Sicherheitsvorkehrungen einführen. Unter anderem sollen Pop-ups Nutzer an die National Suicide Prevention Lifeline verweisen, wenn sie Suizidgedanken oder selbstverletzendes Verhalten äußern. Die Plattform wolle außerdem sicherstellen, dass Minderjährige nicht auf sensible oder anzügliche Inhalte stoßen.
Der Fall wirft dennoch Fragen auf. Während Kritiker fordern, dass KI-Modelle noch strenger reguliert werden müssen, argumentieren Befürworter der Technologie, dass das innovative Potenzial nicht gebremst werden dürfe. Der tragische Tod von Sewell Setzer dürfte die Debatte weiter anheizen und könnte zu einem wichtigen Präzedenzfall werden.
Auch interessant:
