# taz.de -- KI-Trainingsdaten blockieren: Das große Crawlen
> KI-Unternehmen klauen Wissen, das andere mühsam zusammengetragen haben.
> Ein Unternehmen will hungrige Bots blockieren. Was macht das mit dem
> Internet?
IMG Bild: Wie diese frisch geschlüpften Spinnen bewegen sich die KI-Crawler auf der Suche nach Texten durch das Netz
Statt Suchmaschinen weisen immer mehr KI-Chatbots den Weg im Internet. Die
Art, wie Menschen dort surfen, verändert sich derzeit massiv. Unklar ist
nur, wie drastisch die Veränderung aussieht und wem sie nützt.
Treffen könnte der Wandel alle, die Geld mit Texten im Internet verdienen,
ob Blog, Magazin oder Verlagshaus. Sie leben davon, dass Menschen
[1][Informationen und Unterhaltung suchen]. Das Geld kommt von der
[2][geschalteten Werbung] oder vom verkauften Abonnement. Wenn Menschen
zunehmend ihre Neugierde mit Fragen an Chatbots stillen und die
eigentlichen Websites mit den Texten nicht mehr direkt aufrufen, brechen
diese Einnahmen ein.
Ein Indiz, in welche Richtung es geht, sind „Zero-Click-Searches“. Das sind
Suchen via Google, bei denen die Suchenden keine Website öffnen, sondern
nur bei der Suchmaschine verweilen. Seit Google KI-Zusammenfassungen als
Antwort auf Suchanfragen ausspielt, sind diese Zero-Click-Searches
drastisch gestiegen.
„Das ist ein ernstzunehmendes Problem“, sagt Eric Kubitz, Head of AI beim
Wort und Bild Verlag, der unter anderem die [3][Apotheken Umschau]
herausgibt. „Wir werden bei Google-Suchen zwar häufiger angezeigt, aber
haben trotzdem 20 bis 30 Prozent weniger Klicks.“ Andere Verlage berichten,
dass sie die Zero-Click-Searches zwar noch nicht spüren, aber Sorgen machen
sich viele.
Dazu kommt, dass die KI-Unternehmen selbst keine Journalist*innen
beschäftigen, um neues Material zu recherchieren. Stattdessen [4][zapfen
sie Inhalte an, die andere zusammengetragen haben]. Das machen sie
automatisiert mit Bots, sogenannten Crawlern. Die New York Times
[5][verklagte deshalb 2023 OpenAI und Microsoft wegen
Urheberrechtsverletzung]. Doch solche Klagen sind kompliziert und viele
Verlage, geschweige denn einzelne Autor*innen, haben die Mittel dafür
nicht.
Letztlich ging die New York Times diesen Mai dann einen zweiten Weg und
schloss einen KI-Deal mit Amazon. Solche Abkommen gibt es jedoch derzeit
nur mit den größten Verlagen. „Mit uns reden die gar nicht, weil wir es
viel schwerer haben zu klagen“, sagt Kubitz. Die Vereinbarungen hält er
auch grundsätzlich für eine schlechte Idee. „Bei Content Deals ist es wie
bei [6][Spotify], man meldet seine Musik an und man kriegt irgendwas, im
Zweifel sehr wenig und es fehlt die Transparenz.“
Ein weiteres Problem sei, dass die zunehmenden Bot-Besuche die Websites
belasten, sagt Kubitz. „Da all diese Abfragen viel Traffic bei uns
verursachen, kostet uns das Geld.“ Denn Server werden häufig für Bandbreite
und Nutzung bezahlt.
Einige Verlage versuchen unterdessen, Crawler von ihren Websites
auszusperren. Die rechtliche Grundlage dafür gibt es. Der EU AI Act
verbietet das Anzapfen von urheberrechtlich geschützten Inhalten ohne
Einverständnis. Doch nicht alle KI-Firmen scheinen sich daran zu halten.
Kubitz etwa verdächtigt vor allem den [7][chinesischen Anbieter Deepseek]
und auch [8][Grok von Elon Musks Firma xAI], Sperren zu umgehen. Möglich
ist das, weil die aktuell eingesetzte Lösung eher eine Bitte anstatt einer
wirklichen Sperre ist. Der Schutz vieler Websites besteht aus einer
sogenannten robots.txt-Datei: einem Textdokument, in dem steht, welche Bots
die Seite nicht besuchen sollen. Diese Datei stellt jedoch keine technische
Hürde dar, die Bots können sie einfach ignorieren.
Eine potenzielle Lösung bietet nun das US-Unternehmen Cloudflare, ein
Anbieter von Infrastruktur für Websites. Es bietet etwa Sicherheitsdienste
und Serverleistung an. Man könnte sagen: Wäre das Internet ein Flughafen,
dann wäre Cloudflare so etwas wie Tower, Sicherheitsdienst und
Landebahnwartung in einem. Nach eigenen Angaben nutzen etwa 20 Prozent
aller Websites weltweit Cloudflare, bei den meistbesuchten Websites sind es
je nach Zählweise 30 bis 40 Prozent. Wenn diese Firma ankündigt, es ihren
Kund*innen zu ermöglichen, mit einem Klick alle Crawler effektiv zu
blockieren, dann ist ihr Aufmerksamkeit sicher. Gleichzeitig testet
Cloudflare aktuell auch die Möglichkeit, Bots für das Crawlen pro Seite
bezahlen zu lassen.
Das gefällt nicht allen. Der CEO des KI-Unternehmens Perplexity etwa,
Aravind Srinivas, wirft Cloudflare vor, sowohl bei den Websitesbetreibenden
als auch bei den KI-Unternehmen abkassieren zu wollen.
Cloudflare hingegen ist überzeugt, dass es für ihr Tool Bedarf gibt. „Als
Content-Creator*in sollte man selbst entscheiden können, wie die eigenen
Inhalte von anderen zu kommerziellen Zwecken genutzt werden“, sagt Will
Allen, Vice President of Product von Cloudflare. „Wir sind wie die
Türsteherin, die vor einer Bar steht und die Ausweise kontrolliert. Wer
reinkommt, das liegt bei den Betreibenden. Wir helfen nur dabei, das auch
wirklich durchzusetzen.“
Simeon Räthel würde da widersprechen. Jede technische Führungskraft wisse,
„dass Cloudflare nicht the way to go ist. Was sie aber können, ist
Vertrieb.“ Räthel ist Mitgründer von Centinel Analytica. Die deutsche
Cloudflare-Konkurrenz hat sich auf das Blockieren von Bots spezialisiert.
Doch auch Räthel gibt zu, es sei „ein Katz-und-Maus-Spiel“ zwischen
Bot-Entwicklung und Bot-Blockade. Ein vollständiger Schutz sei nicht
möglich. „Das Ziel ist es, das Umgehen der Blockaden so teuer zu machen,
dass es billiger wird, diejenigen zu bezahlen, die die Inhalte kreieren.“
Christoph Schmidt vom Fraunhofer-Institut für Intelligente Analyse- und
Informationssysteme sagt, die Technik, die Cloudflare jetzt vorgestellt
hat, sei nichts Einzigartiges. Das könne im Grunde jede Website selbst
machen, Cloudflare vereinfache es nur. „Da geht es um Aufmerksamkeit, es
ist ein starker PR-Move“, sagt Schmidt. „Ich finde das aber gut, weil
Cloudflare das Thema mit ihrer Macht aufs Tableau gebracht hat.“ Der
Sachverhalt müsse aber eigentlich juristisch gelöst werden. Und es fehle
immer noch ein [9][funktionierendes Geschäftsmodell]. Schmidt bezweifelt,
dass Bots künftig für einzelne Artikelabrufe bezahlen werden, wie es
Cloudflare aktuell testet.
Bei einer Sache sind sich jedoch alle einig, mit denen die taz für diesen
Artikel gesprochen hat. Das Horrorszenario – dass das Internet zur Chatbox
verkommt, die Verlage pleitegehen und Journalisten nur noch die KI mit
Inhalten füttern – sei unwahrscheinlich. Christoph Schmidt etwa glaubt,
dass der menschliche Artikel seinen Wert behalten werde. Gleichzeitig müsse
man aber auch eine Form von Monetarisierung entwickeln, die sich für alle
lohne. Eric Kubitz vom Wort und Bild Verlag schätzt, es werde weiterhin
„Kuschelecken“ im Internet geben, wo einzelne lieb gewonnene Websites
erfolgreich bleiben. „Aber es ist wie mit Innenstädten, da muss man sich
mittlerweile anstrengen, eine richtig schöne zu finden. Es gibt sie zwar
noch, aber das große Geldverdienen findet anderswo statt.“ Und einer
widerspricht vehement bei der Frage, ob das [10][Internet zur Chatbox zu
verkommen] drohe: Ole Reißmann, zuständig für KI beim Spiegel. Der Spiegel
hat einen KI-Deal mit Perplexity. „Verkommt? Da gefällt mir die Konnotation
nicht“, sagt Reißmann. „Eine Chatbox ist doch für die User viel besser als
eine werbeüberladene Webseite, wo die Info sich hinter fünf Pop-ups
versteckt.“
Wirklich? Mittlerweile kommen mehrere Studien zu dem Schluss, dass bei
leidenschaftlichen KI-Nutzer*innen die Fähigkeiten, kritisch zu denken,
abnehme. Ihre Bequemlichkeit bleibt wohl bestehen. Und der Sog, KI zu
nutzen, wird so immer stärker.
20 Sep 2025
## LINKS
DIR [1] /Chatbots-und-Google/!5912238
DIR [2] /Springer-Klage-gegen-Adblock-Entwickler/!6104336
DIR [3] /Apotheken-Umschau/!6039770
DIR [4] /Ausbeutung-im-Tech-Sektor/!6102646
DIR [5] /OpenAI-und-Microsoft-verklagt/!5981722
DIR [6] /Liebes-Spotify-es-ist-aus-mit-uns/!6099508
DIR [7] /Kuenstliche-Intelligenz/!6065865
DIR [8] /Antisemitische-KI-von-Elon-Musk/!6100133
DIR [9] /Staatsgeld-fuer-kuenstlliche-Intelligenz/!6059657
DIR [10] /Chatbots-enttarnen/!6002321
## AUTOREN
DIR Moritz Müllender
## TAGS
DIR wochentaz
DIR Zukunft
DIR Schwerpunkt Künstliche Intelligenz
DIR Social-Auswahl
DIR Fake News
DIR Schwerpunkt Künstliche Intelligenz
DIR Datenschutz
DIR Schwerpunkt Künstliche Intelligenz
## ARTIKEL ZUM THEMA
DIR Social-Media-App Sora: OpenAI startet einen KI-Fake-Feed
OpenAI, das Unternehmen hinter ChatGPT, startet eine neue Social-Media-App.
Dort können User*innen ausschließlich KI-Videos posten.
DIR Ausbeutung im Tech-Sektor: Die KI-Revolution frisst ihre Gig-Worker
Große Firmen lagern das Training künstlicher Intelligenz an Subunternehmen
aus. Für die arbeiten weltweit echte Menschen – zu miserablen Bedingungen.
DIR Neues KI-Training von Meta: Ein Tool, sie zu knechten
Meta darf die Daten von Millionen Nutzer*innen zum Training von
KI-Modellen verwenden. Der Profit bleibt beim Unternehmen. Doch man kann
widersprechen.
DIR OpenAI und Microsoft verklagt: New York Times gegen ChatGPT
ChatGPT verletze das Urheberrecht, sagt die NYTimes. Deswegen geht das
Medienhaus jetzt rechtlich gegen OpenAI vor – anders als die deutschen
Verlage.