Marketing Technologie

Reddit blockiert Suchmaschinen: Ist die Zeit des offenen Internets vorbei?

Reddit blockiert Suchmaschinen Bing KI Google
Reddit
geschrieben von Fabian Peters

Reddit hat offenbar zahlreiche Suchmaschinen blockiert, um sie daran zu hindern, Inhalte der Plattform anzuzeigen. Google scheint die einzige große Ausnahmen zu sein. Grund dafür dürfte sein, dass die beiden Unternehmen einen Lizenzdeal in Millionenhöhe abgeschlossen haben. 

Reddit hat Anfang Juli 2024 damit begonnen, zahlreiche Suchmaschinen und deren Webcrawler zu blockieren. Das geht aus einem Bericht des Online-Magazins 404 Media hervor. Demnach ist Google derzeit eine der wenigen Suchmaschinen, die aktuelle  Reddit-Inhalte anzeigt.

Reddit blockiert Suchmaschinen – weil sie nicht zahlen?

Der Hintergrund: Google hatte Anfang 2024 einen Deal mit Reddit abgeschlossen. Für rund 60 Millionen US-Dollar sicherte sich das Unternehmen einen exklusiven Zugang zu den Inhalten des Internetforums, um damit seine hauseigenen KI-Systeme trainieren zu können.

Doch mittlerweile scheint Google auch die einzige Suchmaschine zu sein, die aktuelle Ergebnisse von Reddit in seiner Suche anzeigt. Wer beispielsweise bei Bing oder DuckDuckGo „site:reddit.com“ eingibt und als Datum in den Sucheinstellungen „letzte Woche“ auswählt, erhält keinerlei Suchergebnisse.

Ein Reddit-Sprecher dementierte gegenüber dem Tech-Magazin The Verge offiziell zwar einen Zusammenhang mit dem Google-Deal, bestätigte ihn jedoch indirekt:

Dies hat nichts mit unserer jüngsten Partnerschaft mit Google zu tun. Wir waren in Gesprächen mit mehreren Suchmaschinen. Wir waren nicht in der Lage, mit allen von ihnen Vereinbarungen zu treffen, da einige nicht in der Lage oder nicht willens sind, einklagbare Zusagen bezüglich der Nutzung von Reddit-Inhalten zu machen, einschließlich ihrer Nutzung für KI.

Microsoft bestätigt: Reddit blockiert Suchmaschinen

Heißt konkret: Reddit verlangt offenbar nicht nur Geld dafür, dass andere Unternehmen ihre KI-System mit den Inhalten des Internetforums trainieren können, sondern will scheinbar auch für einen grundsätzlichen Zugriff bezahlt werden – etwa über Suchmaschinen.

Um zu verhindern, dass Bing, DuckDuckGo und Co. auf Reddit zugreifen können, hat der Social-News-Aggregator Anfang Juli 2024 deshalb seine robots.txt-Datei aktualisiert, um das Crawling der Suchmaschinen zu verhindern. Ben Lee, Reddits Chief Legal Officer, sagte The Verge in einem früheren Bericht dazu: „Es ist ein Signal an diejenigen, die keine Vereinbarung mit uns haben, dass sie nicht auf Reddit-Daten zugreifen sollten“.

Microsoft-Sprecherin Caitlin Roulston erklärte dazu wiederum: „Microsoft respektiert den robots.txt-Standard und wir respektieren die Anweisungen von Websites, die nicht wollen, dass Inhalte auf ihren Seiten mit unseren generativen KI-Modellen verwendet werden. Sie bestätigte außerdem dass Bing das Crawlen von Reddit unterbunden hat, nachdem die Plattform ihre robots.txt-Datei aktualisiert hat.

Die Entscheidung von Reddit, einige der beliebtesten Suchmaschinen zu blockieren, erscheint drastisch, kommt strengenommen aber nicht wirklich überraschen. Denn die Plattform hatte bereits im vergangenen Jahr damit begonnen, ihre Daten immer strenger zu schützen, um zusätzliche Einnahmequelle zu generieren und Investoren anzulocken.

Ist die Zeit des offenen Internet vorbei?

Reddit drohte dem Vernehmen nach zunächst sogar Google damit, den Zugang zu seinen Inhalten zu verwehren, wenn das Unternehmen nicht damit aufhören würde, die Daten zum kostenlosen Training seiner KI-System zu verwenden. Da immer mehr KI-Inhalte das Internet überschwemmen, dürften menschlichen Inhalte wie auf Reddit künftig derweil an Bedeutung gewinnen.

Viele Nutzer hängen ihren Suchanfragen etwa den Namen „Reddit“ an, um gezielt Antworten zu erhalten, die von Menschen stammen. Doch das scheint künftig zunächst nur noch auf Google möglich zu sein. Reddit selbst hat sich dadurch eine äußerst machtvolle Position erarbeitet.

Entsprechende Lizenzdeals wie mit Google haben jedoch auch zur Folge, dass das Internet verschlossener wird, wenn Plattformen wie Reddit sich gegenüber anderen Suchmaschinen verschließen. Da Foren grundsätzlich an Bedeutung gewinnen, könnte sich dieser Trend weiter fortsetzen und auch auf den Social Media-Bereich ausweiten.

Vor einige Jahren wären eine solche Entwicklung noch nicht denkbar gewesen. Denn Suchmaschinen haben Website-Betreibern vor allem Traffic und damit indirekt auch Werbeeinnahmen beschert. Aufgrund von KI- und Spam-Inhalten werden Suchmaschinen und das Internet jedoch seit geraumer Zeit immer schlechter.

Die Gretchenfrage dürfte deshalb nicht nur sein, wie die Suchmaschinen mit dem Vorstoß von Reddit umgehen, sondern auch, ob dieser Nachahmer findet – vom Umgang mit KI-Spam, den selbst Google nicht in den Griff bekommt, ganz zu schweigen.

Auch interessant: 

Über den Autor

Fabian Peters

Fabian Peters ist seit Januar 2022 Chefredakteur von BASIC thinking. Zuvor war er als Redakteur und freier Autor tätig. Er studierte Germanistik & Politikwissenschaft an der Universität Kassel (Bachelor) und Medienwissenschaften an der Humboldt-Universität zu Berlin (Master).

4 Kommentare

  • Google, Reddit, Amazon, Microsoft, Apple… man müsste sie alle niederbrennen in ihrer kaputten Shitification.

  • Bei Reddit und Google ist man sich offensichtlich darüber bewusst, dass der durchschnittliche Internet-Nutzer dumm und faul genug ist um keine anderen Suchmaschinen als Google zu kennen.

  • Die Suchmaschienenanbieter lassen sich doch auch für die Position in der Trefferliste bezahlen.
    Also warum sollen sich Kontentanbieter bzw -vermittler nicht auch bezahlen lassen ?

    Wenn Suchmaschinenanbieter Quellen als luktrativ betrachten wird natürlich gerne das Portemonnaie aufgemacht – anderenfalls wird gerne die Hand aufgehalten.

    Man kann ganz einfach testen wie kaputt die Suchmaschnien sind:
    Suchen sie bei Google nach gruhumpelfrotz und dann bei Bing.
    Merken sie was ? (Wobei Google und Bing beliebige Beispiele sind)

    Auge um Auge …