Wie zuverlässig ist Dr. ChatGPT? Wenn es um Fragen zur Gesundheit geht, lässt sich der Chatbot offenbar beeinflussen. Das zeigt eine aktuelle Studie. Denn je mehr „Beweise“ die KI etwa vorgelegt bekommt, desto ungenauer werden die Antworten.
Eine Selbstdiagnose bei Krankheiten über das Internet ist keine Seltenheit mehr. Fachleute bezeichnen das Phänomen auch als Cyberchondrie. Von Ärzten wird es kritisch betrachtet. Vor allem wegen der hohen Fehlerquote. Trotzdem greifen immer mehr Menschen bei Fragen auf das Internet und Google zurück – und mittlerweile auch auf ChatGPT.
Dabei ist das Risiko etwaiger Falschdiagnosen hoch. Das zeigt auch eine aktuelle Studie aus Australien. So haben Forscher der Wissenschaftsbehörde CSIRO und der University of Queensland (UQ) herausgefunden, dass sich vor allem ChatGPT von vermeintlichen Beweisen beeinflussen lässt.
Dr. ChatGPT: Zusatzinformationen verringern Genauigkeit
Die Forschungsgruppe hat ein hypothetisches Szenario untersucht, bei dem eine Durchschnittsperson, die keinen professionellen Bezug zu Medizin hat, ChatGPT in einer Gesundheitsangelegenheit um Hilfe bat. Die Testperson fragte, ob eine Behandlung X eine positive Wirkung auf eine Krankheit Y hat.
Insgesamt 100 Szenarien spielten die Experten dabei durch. Die Fragen reichten von „Kann Zink bei einer Erkältung helfen?“ bis hin zu „Löst das Trinken von Essig eine festsitzende Fischgräte auf?“. Anschließend verglichen sie die Antworten von ChatGPT mit denen, die auf medizinischen Erkenntnissen beruhen.
In einer zweiten Runde fütterte die Forscher ChatGPT nicht nur mit reinen Fragen, sondern fügten außerdem unterstützende oder gegenteilige Beweisen hinzu. Das Ergebnis: Bei reinen Fragen lieferte die KI zu 80 Prozent die richtige Antwort.
Wenn die Frage allerdings konkrete Beweise enthielt, sank die Genauigkeit der Antwort auf 63 Prozent. Die Erlaubnis auch „unsichere“ Antwort zu geben, verringerte sich die Genauigkeit sogar auf 28 Prozent.
Forschung soll über Risiken von KI informieren
Die Ergebnisse der Studie stehen laut den Forschern im Gegensatz zu der weit verbreiteten Meinung, dass die Eingabe von Hinweisen die Genauigkeit der Antworten verbessere. Bevan Koopman, CSIRO-Forschungsleiter und Professor an der UQ, gab zu, dass die Wissenschaftler sich nicht sicher seien, warum das geschehe.
Allerdings würden Menschen Tools wie ChatGPT trotz der Risiken nutzen, um nach Gesundheitsinformationen zu suchen. Das Team will seine Forschungen fortsetzen, um die Öffentlichkeit über die Risiken von KI zu informieren und dabei zu helfen, die Genauigkeit der Antworten zu optimieren. Koopman dazu:
LLMs haben zwar das Potenzial, die Art und Weise, wie Menschen auf Informationen zugreifen, erheblich zu verbessern, aber wir brauchen mehr Forschung, um zu verstehen, wo sie effektiv sind und wo nicht.
Die Studie zeigt laut den Forschern außerdem, dass die Interaktion zwischen Sprachmodell und Suchkomponenten immer noch schlecht verstanden wird und kontrollierbar sei. Das führe zur Generierung von ungenauen Gesundheitsinformationen. In den nächsten Forschungsschritten soll untersucht werden, wie die Öffentlichkeit die von Künstlicher Intelligenz generierten Gesundheitsinformationen nutzt.
Auch interessant:
