Social Media Technologie

Content-Moderation in sozialen Netzwerken: Sollten KIs kontrolliert werden?

Social Media, Facebook Twitter, Smartphone
Sollten KIs auf Social Media kontrolliert werden? (Foto: Pixabay.com / LoboStudioHamburg)
geschrieben von Marinela Potor

Social Media ist der Marktplatz unserer Zeit – leider auch mit allen negativen Folgen von Diskriminierung bis hin zu illegalen Aktivitäten. KI-gesteuerte Content-Moderation soll das verhindern. Bislang mit mäßigem Erfolg. Eine Forschergruppe hat nun vorgeschlagen, KIs auf Social Media regelmäßig zu kontrollieren. 

Die einen hassen sie, die anderen können nicht ohne sie: soziale Netzwerke. Doch egal, wie man zu Facebook, Tik Tok & Co steht: Die Welt tauscht sich auf Social-Media-Plattformen aus.

Das reicht von Tanzanleitungen über Fitness-Tipps bis hin zu politischen Diskussionen. Die Dimensionen sind enorm. Im Jahr 2018 nutzte alle elf Sekunden jemand zum ersten Mal Social Media. Heute sind 3,8 Milliarden Menschen weltweit auf mindestens einem sozialen Netzwerk aktiv.


Neue Stellenangebote

Growth Marketing Manager:in – Social Media
GOhiring GmbH in Homeoffice
Content Marketing Expert / Social Media Expert Publications (w|m|d)
zeb.rolfes.schierenbeck.associates gmbh in Münster
Senior Communication Manager – Social Media (f/m/d)
E.ON Energy Markets GmbH in Essen

Alle Stellenanzeigen


Die Anzahl von Posts ist entsprechend hoch – und menschliche Moderatoren kommen mit der Kontrolle kaum noch hinterher. Denn, das ist die Schattenseite von Social Media, hier tummeln sich auch viele beleidigende, diskriminierende oder auch schlicht illegale Inhalte.

Automated Content-Moderation soll unerwünschte Inhalte filtern

Um daher dafür zu sorgen, dass die Normen und Gesetze auf den Plattformen gewahrt werden, setzen viele Netzwerke Künstliche Intelligenz (KI) ein. Selbstlernende Algorithmen werden so programmiert, dass sie gefährliche oder verbotene Inhalte erkennen und entsprechend entfernen können.

Doch Automated Content-Moderation ist auch problematisch. Sie kann zwar große Mengen an Inhalten bewältigen. Doch die Entscheidungen, die die Algorithmen dabei treffen, sind nicht immer fair und sehr selten für Nutzer oder auch Gesetzgeber transparent.

Warum wurde ein Post gelöscht? Was war an dem Foto problematisch? Wie entscheidet eine KI, welche Inhalte sie herausfiltert? All das sind Fragen, über die die Social-Media-Plattformen die Öffentlichkeit im Dunkeln halten – teilweise auch bewusst.

Denn viele große Plattformen befürchten, dass sie durch Offenlegung ihrer Algorithmen Betriebsgeheimnisse freigeben.

Initiative fordert mehr Transparenz und Offenheit

Daher hat sich die Initiative „Ethics of Digitalisation“ zusammengetan, um Vorschläge für eine fairere und transparentere Automated Content-Moderation zu machen.

Hinter dem Projekt steckt das Global Network of Internet and Society Research Centers (NoC) unter der Schirmherrschaft von Bundespräsident Frank-Walter Steinmeier. Die Stiftung Mercator finanziert das Projekt.

Nun hat die Initiative erste Vorschläge veröffentlicht, wie die KI-gesteuerte Moderation auf Social Media offener gestaltet werden kann. Generell sind die Wissenschaftler der Meinung, dass KIs in sozialen Netzwerken bislang noch nicht sonderlich sauber arbeiten und auch problematisch sein können.

Content-Moderation per KI nicht so smart wie viele glauben

Je nach Plattform kann es zum Beispiel sein, dass Automated Content-Moderation dafür sorgt, dass viel zu viele Inhalte oder viel zu wenige gelöscht werden. Denn KIs haben bislang noch große Schwächen, wenn es darum geht, menschliche Posts richtig einzuordnen.

Nach Meinung der Initiative liegt das daran, dass smarte Algorithmen oftmals nur auf bestimmte Keywords achten, aber nicht unbedingt den Kontext eines Posts erkennen. Das führt beispielsweise dazu, dass ein Algorithmus ein Slang-Wort oder einen Regionalismus als Beleidigung auffasst, obwohl es nicht so gemeint war.

Zudem können Nutzer gezielt bestimmte Begriffe vermeiden und trotzdem illegale oder beleidigende Inhalte posten. Darüber hinaus fällt es den Algorithmen schwer, Inhalte auf Memes oder in GIFs zu interpretieren, sodass auch hier die Moderation eher mäßig ausfällt.

Gleichzeitig ist es manchmal auch einfach schwierig, eine genaue Trennlinie zwischen Hassrede und Meinungsfreiheit zu ziehen.

Die Forschungsinitiative hat nun darum in ihren ersten drei Briefings Vorschläge zusammengetragen, die Plattform-Betreiber für die Gestaltung ihrer Automated Content-Moderation stärker in die Verantwortung nimmt.

Mehr Transparenz für Nutzer

Wer oft auf Social Media unterwegs ist, hat es sicher schon erlebt: Posts verschwinden manchmal aus unerklärlichen Gründen. Wer hat sie entfernt – und warum? War es ein menschlicher Moderator oder ein automatisierter Vorgang?

Oftmals wissen betroffene User gar nicht, wo das Problem lag.

Das muss sich ändern, sagen die Forscher in ihrem Briefing. Wenn ein Post entfernt wird, sollten die Nutzer klar über die Hintergründe informiert werden und auch erfahren, ob es eine automatisierte Löschung war. Je besser Nutzer die Algorithmen verstehen, desto eher können sie sich auch an die gegebenen Normen halten.

Nutzer müssen sich beschweren können

Aufgrund der hohen Fehlerquote von Algorithmen beim Moderieren von Inhalten, muss es dann aber im Folgeschritt für Nutzer auch eine schnelle und vor allem effektive Ansprechstelle geben, an die sie Rückfragen oder Beschwerden einreichen können.

Einige soziale Netzwerke bieten zwar eine Kontaktmöglichkeit. Häufig sind die Reaktionen aber langsam oder die Nutzer bekommen gar keine Antwort. Auch das sei nicht im Sinne der Transparenz, beklagen die Forscher.

Unternehmen sollten offener sein

Die Wissenschaftler kritisieren ebenfalls, dass die Mechanismen der Algorithmen sehr undurchsichtig seien. Es gebe zwar einige Unternehmen, wie etwa Microsoft oder auch die Stadt Amsterdam, die ihre Daten in einem Open-Data-Programm mit der Öffentlichkeit teilen.

Ein solcher Austausch beruht aber bislang auf Freiwilligkeit. Entsprechend wenige Unternehmen zeigen darum offen, nach welchen Kriterien ihre Algorithmen Inhalte moderieren.

Gleichzeitig sperren sich viele Unternehmen davor, Wissenschaftlern Einblicke in die Funktionsweise der Algorithmen zu erlauben. Die vierteljährlichen Transparenz-Berichte sind oftmals zu allgemein. Auch fehlen allgemeine Standards, sodass die Daten nicht unbedingt vergleichbar sind.

Algorithmen von außen prüfen

Für die Forscher ist daher klar: Die Inhalte müssen nicht nur transparenter sein. Sie sollten auch regelmäßig von unabhängiger sowie wissenschaftlicher Stelle geprüft werden.

Ähnlich wie bei den Datenschutzprüfungen unter der DSGVO sollte dies auch für Automated Content-Moderation möglich sein.

Das könne zum Beispiel durch eine externe internationale Prüfungskommission geschehen, die sicherstellt, dass Unternehmen bei ihrer Content-Moderation Gesetze einhalten oder auch nicht (unbeabsichtigt) Vorurteile in die KIs programmiert haben.

Ihrer Meinung nach sei es möglich, Wissenschaftlern und Behörden Zugang zu den Algorithmen zu verschaffen, ohne Betriebsgeheimnisse offenzulegen.

Damit könnten Unternehmen sich auch nicht mehr hinter der Unkontrollierbarkeit von KI verstecken, sondern müssten Verantwortung für die Funktionsweise ihrer Algorithmen übernehmen.

Diese Prüfungskommission müsste natürlich unabhängig von den Unternehmen beauftragt und finanziert sein und das entsprechende technische Know-how mitbringen.

Da sich die wenigsten Unternehmen solchen Prüfungen freiwillig unterziehen würden, müssten solche Prüfungen gesetzlich vorgeschrieben sein. Damit, so hoffen die Forscher, könnte Automated Content-Moderation transparenter, verständlicher und ethisch verantwortungsvoller sein.

Auch interessant:

Über den Autor

Marinela Potor

Marinela Potor ist Journalistin mit einer Leidenschaft für alles, was mobil ist. Sie selbst pendelt regelmäßig vorwiegend zwischen Europa, Südamerika und den USA hin und her und berichtet über Mobilitäts- und Technologietrends aus der ganzen Welt.