Wir benutzen Cookies, um die Nutzerfreundlichkeit der Website zu verbessern. Durch deinen Besuch stimmst du der Datenschutzerklärung zu.
Alles klar!
BASIC thinking Logo Dark Mode BASIC thinking Logo Dark Mode
  • TECH
    • Apple
    • Android
    • ChatGPT
    • Künstliche Intelligenz
    • Meta
    • Microsoft
    • Quantencomputer
    • Smart Home
    • Software
  • GREEN
    • Elektromobilität
    • Energiewende
    • Erneuerbare Energie
    • Forschung
    • Klima
    • Solarenergie
    • Wasserstoff
    • Windkraft
  • SOCIAL
    • Facebook
    • Instagram
    • TikTok
    • WhatsApp
    • X (Twitter)
  • MONEY
    • Aktien
    • Arbeit
    • Die Höhle der Löwen
    • Finanzen
    • Start-ups
    • Unternehmen
    • Marketing
    • Verbraucherschutz
Newsletter
Font ResizerAa
BASIC thinkingBASIC thinking
Suche
  • TECH
  • GREEN
  • SOCIAL
  • MONEY
  • ENTERTAIN
  • NEWSLETTER
Folge uns:
© 2003 - 2025 BASIC thinking GmbH
Character.AI KI Chatbot Selbstmord
TECH

Character.ai: Hat ein Chatbot einen Jugendlichen in den Selbstmord getrieben?

Fabian Peters
Aktualisiert: 24. Oktober 2024
von Fabian Peters
Character.AI
Teilen

Nach dem Tod ihres 14-jährigen Sohnes hat eine Mutter in Florida eine Zivilklage gegen Character.ai eingereicht. Der Vorwurf: Ein Chatbot des Unternehmens soll den Jugendlichen zunächst besessen gemacht und anschließend in den Selbstmord getrieben haben. 

Am 28. Februar 2024 tauschte der 14-jährige Teenager Sewell Setzer eine letzte Nachricht mit „Dany“ aus, einem KI-Charakter, der auf einer Figur aus der Serie Game of Thrones basiert. Nur wenige Augenblicke später beging er Selbstmord. Das berichtete seine Mutter der New York Times.

Chatbot von Character.ai für Selbstmord verantwortlich?

Am 23. Oktober 2024 reichte Megan Garcia vor einem Bundesgericht in Florida deshalb eine Zivilklage gegen Character.ai ein. Der Vorwurf: Der Chatbot des KI-Unternhemens soll ihren Sohn zunächst besessen gemacht und ihn anschließend in den Suizid getrieben haben.

BASIC thinking UPDATE

Jeden Tag bekommen 10.000+ Abonnenten die wichtigsten Tech-News direkt in die Inbox. Abonniere jetzt dein kostenloses Tech-Briefing:

Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung

  • 5 Minuten pro Tag
  • 100% kostenlos
  • Exklusive PDF-Guides

Garcia unterstellt dem Unternehmen zudem Fahrlässigkeit, widerrechtliche Tötung und betrügerische Handelspraktiken. Denn die Technologie sei „gefährlich und ungetestet“.

Zum Hintergrund: Die Plattform von Character.ai zählt laut eigenen Angaben rund 20 Millionen Nutzer. Das Unternehmen wird auf einen Wert von einer Milliarde US-Dollar taxiert. Auf der Plattform können Nutzer Charaktere erstellen und mit ihnen chatten. Sie reagieren dabei ähnlich wie echte Menschen.

Die Technologe basiert auf einem sogenannten Large Language Model, ähnlich wie bei ChatGPT. Die Chatbots werden mit Unmengen von Daten „trainiert“.

Muss KI reguliert werden?

Character.ai reagierte auf die Klage und den Tod des Teenagers in einem Statement. „Wir sind untröstlich über den tragischen Verlust eines unserer Nutzer und möchten der Familie unser tiefstes Beileid aussprechen“, heißt es darin.

Das Unternehmen wolle neue Sicherheitsvorkehrungen einführen. Unter anderem sollen Pop-ups Nutzer an die National Suicide Prevention Lifeline verweisen, wenn sie Suizidgedanken oder selbstverletzendes Verhalten äußern. Die Plattform wolle außerdem sicherstellen, dass Minderjährige nicht auf sensible oder anzügliche Inhalte stoßen.

Der Fall wirft dennoch Fragen auf. Während Kritiker fordern, dass KI-Modelle noch strenger reguliert werden müssen, argumentieren Befürworter der Technologie, dass das innovative Potenzial nicht gebremst werden dürfe. Der tragische Tod von Sewell Setzer dürfte die Debatte weiter anheizen und könnte zu einem wichtigen Präzedenzfall werden.

Auch interessant: 

  • Protestbrief gegen KI-Training: Schauspieler und Musiker gehen auf die Barrikaden
  • Mit KI-Influencerin Emma: Deutsche Tourismus-Zentrale blamiert sich
  • Nach menschlichem Feedback: KI lernt Menschen zu täuschen
  • Roboter erkennen menschliche Berührungen – ohne künstliche Haut
Kleines Kraftwerk

Anzeige

STELLENANZEIGEN
Sachbearbeiter Verwaltungsdigitalisierung (m/...
Landratsamt Schwäbisch Hall in Schwäbisch Hall
BASIC thinking Freiberuflicher Redakteur (m/w/d)
BASIC thinking GmbH in Home Office
Junior Digital Employer Branding Expert (m/w/d)
thyssenkrupp Marine Systems GmbH in Bremen
Praktikum im Bereich Social Media | LASCANA (...
Otto GmbH & Co. KGaA in Hamburg
Junior Marketing Manager (m/w/d) Schwerpunkt ...
Schuchmann GmbH & Co. KG in Bissendorf
E-Commerce Mitarbeiter (m/w/d)
HERMANN BIEDERLACK GmbH + Co. KG in Greven

Du willst solche Themen nicht verpassen? Mit dem BASIC thinking UPDATE, deinem täglichen Tech-Briefing, starten über 10.000 Leser jeden Morgen bestens informiert in den Tag. Jetzt kostenlos anmelden:

Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung

THEMEN:Künstliche Intelligenz
Teile diesen Artikel
Facebook Flipboard Whatsapp Whatsapp LinkedIn Threads Bluesky Email
vonFabian Peters
Chefredakteur
Folgen:
Fabian Peters ist seit Januar 2022 Chefredakteur von BASIC thinking. Zuvor war er als Redakteur und freier Autor tätig. Er studierte Germanistik & Politikwissenschaft an der Universität Kassel (Bachelor) und Medienwissenschaften an der Humboldt-Universität zu Berlin (Master).
Kleines Kraftwerk

Anzeige

EMPFEHLUNG
Online-Speicher Internxt
Einmal zahlen, ein Leben lang Online-Speicher erhalten
Anzeige TECH
UPDATE – DEIN TECH-BRIEFING

Jeden Tag bekommen 10.000+ Abonnenten von uns die wichtigsten Tech-News direkt in die Inbox. Abonniere jetzt dein kostenloses Tech-Briefing:

Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung

LESEEMPFEHLUNGEN

TECH

SEAL: Forscher entwickeln KI, die denken kann – und nie aufhört zu lernen

ChatGPT WhatsApp Bilder erstellen Künstliche Intelligenz OpenAI
SOCIALTECH

Bilder mit ChatGPT in WhatsApp erstellen – so geht’s

Mark Zuckerberg KI-Entwickler Gehälter
MONEYSOCIAL

Pure Verzweiflung: Mark Zuckerberg lockt KI-Experten mit unmoralischen Angeboten

Papierbatterie Bakterien, Batterie zum Wegwerfen
GREENTECH

Papierbatterie erzeugt mit Bakterien Strom – und ist biologisch abbaubar

Energielabel Smartphones Tablets EU Nachhaltigkeit
TECH

Energielabel für Smartphones und Tablets: Das bedeuten die Kennzeichnungen

EGroupware
AnzeigeTECH

Sicher und flexibel: Die DSGVO-konforme Office-Alternative aus Deutschland

Mehr anzeigen
Folge uns:
© 2003 - 2025 BASIC thinking GmbH
  • Über uns
  • Mediadaten
  • Impressum
  • Datenschutz
Welcome Back!

Sign in to your account

Username or Email Address
Password

Lost your password?