Reddit hat offenbar zahlreiche Suchmaschinen blockiert, um sie daran zu hindern, Inhalte der Plattform anzuzeigen. Google scheint die einzige große Ausnahmen zu sein. Grund dafür dürfte sein, dass die beiden Unternehmen einen Lizenzdeal in Millionenhöhe abgeschlossen haben.
Reddit hat Anfang Juli 2024 damit begonnen, zahlreiche Suchmaschinen und deren Webcrawler zu blockieren. Das geht aus einem Bericht des Online-Magazins 404 Media hervor. Demnach ist Google derzeit eine der wenigen Suchmaschinen, die aktuelle Reddit-Inhalte anzeigt.
Reddit blockiert Suchmaschinen – weil sie nicht zahlen?
Der Hintergrund: Google hatte Anfang 2024 einen Deal mit Reddit abgeschlossen. Für rund 60 Millionen US-Dollar sicherte sich das Unternehmen einen exklusiven Zugang zu den Inhalten des Internetforums, um damit seine hauseigenen KI-Systeme trainieren zu können.
Doch mittlerweile scheint Google auch die einzige Suchmaschine zu sein, die aktuelle Ergebnisse von Reddit in seiner Suche anzeigt. Wer beispielsweise bei Bing oder DuckDuckGo „site:reddit.com“ eingibt und als Datum in den Sucheinstellungen „letzte Woche“ auswählt, erhält keinerlei Suchergebnisse.
Ein Reddit-Sprecher dementierte gegenüber dem Tech-Magazin The Verge offiziell zwar einen Zusammenhang mit dem Google-Deal, bestätigte ihn jedoch indirekt:
Dies hat nichts mit unserer jüngsten Partnerschaft mit Google zu tun. Wir waren in Gesprächen mit mehreren Suchmaschinen. Wir waren nicht in der Lage, mit allen von ihnen Vereinbarungen zu treffen, da einige nicht in der Lage oder nicht willens sind, einklagbare Zusagen bezüglich der Nutzung von Reddit-Inhalten zu machen, einschließlich ihrer Nutzung für KI.
Microsoft bestätigt: Reddit blockiert Suchmaschinen
Heißt konkret: Reddit verlangt offenbar nicht nur Geld dafür, dass andere Unternehmen ihre KI-System mit den Inhalten des Internetforums trainieren können, sondern will scheinbar auch für einen grundsätzlichen Zugriff bezahlt werden – etwa über Suchmaschinen.
Um zu verhindern, dass Bing, DuckDuckGo und Co. auf Reddit zugreifen können, hat der Social-News-Aggregator Anfang Juli 2024 deshalb seine robots.txt-Datei aktualisiert, um das Crawling der Suchmaschinen zu verhindern. Ben Lee, Reddits Chief Legal Officer, sagte The Verge in einem früheren Bericht dazu: „Es ist ein Signal an diejenigen, die keine Vereinbarung mit uns haben, dass sie nicht auf Reddit-Daten zugreifen sollten“.
Microsoft-Sprecherin Caitlin Roulston erklärte dazu wiederum: „Microsoft respektiert den robots.txt-Standard und wir respektieren die Anweisungen von Websites, die nicht wollen, dass Inhalte auf ihren Seiten mit unseren generativen KI-Modellen verwendet werden. Sie bestätigte außerdem dass Bing das Crawlen von Reddit unterbunden hat, nachdem die Plattform ihre robots.txt-Datei aktualisiert hat.
Die Entscheidung von Reddit, einige der beliebtesten Suchmaschinen zu blockieren, erscheint drastisch, kommt strengenommen aber nicht wirklich überraschen. Denn die Plattform hatte bereits im vergangenen Jahr damit begonnen, ihre Daten immer strenger zu schützen, um zusätzliche Einnahmequelle zu generieren und Investoren anzulocken.
Ist die Zeit des offenen Internet vorbei?
Reddit drohte dem Vernehmen nach zunächst sogar Google damit, den Zugang zu seinen Inhalten zu verwehren, wenn das Unternehmen nicht damit aufhören würde, die Daten zum kostenlosen Training seiner KI-System zu verwenden. Da immer mehr KI-Inhalte das Internet überschwemmen, dürften menschlichen Inhalte wie auf Reddit künftig derweil an Bedeutung gewinnen.
Viele Nutzer hängen ihren Suchanfragen etwa den Namen „Reddit“ an, um gezielt Antworten zu erhalten, die von Menschen stammen. Doch das scheint künftig zunächst nur noch auf Google möglich zu sein. Reddit selbst hat sich dadurch eine äußerst machtvolle Position erarbeitet.
Entsprechende Lizenzdeals wie mit Google haben jedoch auch zur Folge, dass das Internet verschlossener wird, wenn Plattformen wie Reddit sich gegenüber anderen Suchmaschinen verschließen. Da Foren grundsätzlich an Bedeutung gewinnen, könnte sich dieser Trend weiter fortsetzen und auch auf den Social Media-Bereich ausweiten.
Vor einige Jahren wären eine solche Entwicklung noch nicht denkbar gewesen. Denn Suchmaschinen haben Website-Betreibern vor allem Traffic und damit indirekt auch Werbeeinnahmen beschert. Aufgrund von KI- und Spam-Inhalten werden Suchmaschinen und das Internet jedoch seit geraumer Zeit immer schlechter.
Die Gretchenfrage dürfte deshalb nicht nur sein, wie die Suchmaschinen mit dem Vorstoß von Reddit umgehen, sondern auch, ob dieser Nachahmer findet – vom Umgang mit KI-Spam, den selbst Google nicht in den Griff bekommt, ganz zu schweigen.
Auch interessant:
