Die Nutzung von Künstlicher Intelligenz birgt auch Gefahren. Forschende aus den USA fordern deshalb nun Warnhinweise für KI-Systeme, ähnlich wie bei verschreibungspflichtigen Medikamenten.
KI-Systeme werden immer ausgefeilter und dadurch auch vermehrt in sicherheitskritischen Situationen eingesetzt – so auch im Gesundheitswesen. Forschende aus den USA fordern daher, dass diese Systeme angemessen eingesetzt werden, damit eine „verantwortungsvolle Nutzung“ im Gesundheitswesen sichergestellt werden kann.
MIT-Professorin Marzyeh Ghassemi und die Professorin Elaine Nsoesie von der Boston University fordern in einem Kommentar in dem Fachmagazin Nature Computational Science deshalb Warnhinweise – ähnlich wie bei verschreibungspflichtigen Medikamenten.
Brauchen KI-Systeme im Gesundheitswesen Warnhinweise?
Geräte und Medikamente, die im US-Gesundheitswesen zum Einsatz kommen, müssen zunächst ein Zertifizierungssystem durchlaufen. Das geschieht beispielsweise durch die Bundesbehörde Food and Drug Administration (FDA). Sind sie einmal zugelassen, werden sie dann von weiterhin überwacht.
Modelle und Algorithmen – mit und ohne KI – umgehen diese Zulassung und Langzeitüberwachung jedoch größtenteils, wie MIT-Professorin Marzyeh Ghassemi bemängelt. „Viele frühere Studien haben gezeigt, dass Vorhersagemodelle sorgfältiger bewertet und überwacht werden müssen“, erklärt sie in einem Interview.
Das gelte vor allem für die neueren generativen KI-Systeme. Denn die bestehende Forschung habe gezeigt, dass diese Systeme „nicht garantiert angemessen, robust oder unvoreingenommen“ arbeiten. So könne es zu Verzerrungen kommen, die durch fehlende Überwachung jedoch unentdeckt bleiben könnten.
So könnte die Kennzeichnung von KI aussehen
Die Professorinnen Marzyeh Ghassemi und Elaine Nsoesie fordern deshalb verantwortungsvolle Verwendungshinweise für Künstliche Intelligenz. Diese könnten dem FDA-Ansatz für die Erstellung von Verschreibungsetiketten folgen.
Als Gesellschaft haben wir inzwischen verstanden, dass keine Pille perfekt ist – es gibt immer ein gewisses Risiko. Dasselbe Verständnis sollten wir auch für KI-Modelle haben. Jedes Modell – mit oder ohne KI – ist begrenzt.
Diese Etiketten könnten Zeit, Ort und Art der beabsichtigten Verwendung eines KI-Modells deutlich machen. Außerdem könnten diese Informationen darüber enthalten, in welchem Zeitraum die Modelle mit welchen Daten trainiert haben.
Das sei laut Ghassemi wichtig, da KI-Modelle, die nur an einem Ort trainiert haben, tendenziell schlechter arbeiten, wenn sie an einem anderen Ort zum Einsatz kommen sollen. Haben die Nutzer:innen jedoch beispielsweise Zugriff auf die Trainingsdaten, könnten diese sie für „potenzielle Nebenwirkungen“ oder „unerwünschte Reaktionen“ sensibilisieren.
Auch interessant:
