Bot Yourself: Europas fehlende Antwort auf KI-Scraper und Bot-Traffic

„Bot yourself" ist keine freundliche Umschreibung. Es ist die inoffizielle Botschaft der gesamten Branche an alle, die im Netz veröffentlichen: Steh gefälligst selbst dafür ein, dass deine Inhalte nicht kostenlos verschwinden. Niemand sonst tut es für dich, und in Europa schon gar nicht.

Am 15. September 2026 dreht Cloudflare für jede neue Website einen Schalter um. Bislang durften KI-Crawler lesen, was sie fanden. Ab diesem Tag gilt das Gegenteil: Bots, die Trainingsdaten sammeln oder als Agent handeln, bleiben auf werbefinanzierten Seiten neuer Domains draußen, wenn niemand sie aktiv einlädt. ^[1]

Das klingt nach einem technischen Detail. Ist es aber nicht. Cloudflare sitzt vor mehr als 20 Prozent aller Websites weltweit. Wenn ein einzelnes US-Unternehmen entscheidet, wer künftig für maschinelles Lesen bezahlt, verhandelt Europa nicht mit. Es schaut zu.

Genau darum geht es in diesem Beitrag: wie Cloudflare gerade eine private Bezahlinfrastruktur für KI-Traffic baut, wie Google zeitgleich die eigenen Suchergebnisse dichter macht, welche Optionen zur Monetarisierung bleiben und warum Europa bei alldem strukturell fehlt.

Drei Kategorien Bot, ein neuer Standard-Zustand

Cloudflare sortiert Crawler künftig in drei Kategorien: Search, Agent und Training. Search-Bots, die Nutzer zur Originalseite zurückschicken, bleiben erlaubt. Agent-Bots, die im Auftrag eines Nutzers handeln, und Training-Bots, die Modelle füttern, landen auf werbefinanzierten Seiten neuer Domains künftig standardmäßig draußen. ^[1]

Der Hintergrund: KI-Crawler machten im Juni 2026 bereits 52 Prozent des gesamten Crawler-Traffics aus, im Frühjahr 2025 waren es noch 22 Prozent. Das Verhältnis von Crawl zu Referral, also wie oft ein Bot eine Seite liest im Vergleich dazu, wie oft er Besucher zurückschickt, liegt bei manchen KI-Systemen bei 50.000 zu 1. ^[2]

Diese Zahl trägt die eigentliche Geschichte. Verlage füttern Modelle mit Inhalten und bekommen kaum Traffic zurück. Eine Analyse der Define Media Group bestätigt das für den US-Markt: Generative KI lieferte im April 2026 nur 0,27 Prozent des gesamten Traffics an News- und Medienseiten, obwohl rund 100 Millionen Menschen in den USA regelmäßig KI-Chatbots nutzen. ^[3] Nutzer bleiben in der KI-Oberfläche. Die Quelle sehen sie selten.

Wie Cloudflare KI-Bots zur Kasse bittet

Cloudflare rief den 1. Juli 2025 zum „Content Independence Day" aus. Seitdem blockiert Cloudflare KI-Crawler bei neuen Domains standardmäßig, außer der Websitebetreiber erlaubt sie aktiv. ^[4]

Parallel dazu startete Pay Per Crawl als private Beta. Das Prinzip: Ein KI-Crawler fragt eine Seite an. Der Server antwortet mit HTTP 402, „Payment Required", und nennt einen Preis. Zahlt der Crawler, bekommt er die Seite mit Statuscode 200. Zahlt er nicht, bleibt die Tür zu. Cloudflare tritt dabei als Merchant of Record auf und wickelt die Zahlung über Stripe ab. ^[4]

Seit Januar 2026 können zahlende Cloudflare-Kunden im AI Crawl Control Dashboard pro Crawler entscheiden: blockieren, zulassen oder mit 402 bepreisen. Kunden senden mittlerweile über eine Milliarde solcher 402-Antworten täglich. ^[5]

Im Sommer 2026 verschob Cloudflare den Fokus von Pay Per Crawl zu Pay Per Use. Der Unterschied ist inhaltlich, nicht kosmetisch. Statt den einzelnen Seitenabruf zu bepreisen, will die neue Monetization Gateway den Moment bepreisen, in dem ein Inhalt tatsächlich in einer KI-Antwort landet. Ein Bot, der eine Seite einmal liest und tausendfach wiederverwendet, soll dann für jede Wiederverwendung zahlen. ^[6]

Technisch hängt das alles an x402, einem offenen Protokoll. Cloudflare entwickelt es zusammen mit Coinbase und verwaltet es über die gemeinsam gegründete x402 Foundation. ^[7]

Das Risiko für Content-Ersteller

Wer heute Inhalte veröffentlicht, trägt zwei Risiken gleichzeitig.

Erstens: Der Traffic bricht ein, während KI-Antworten den Umweg über die Originalquelle sparen. Das Muster gilt für einzelne Websites genauso wie für große Marken. Wer nur auf Klicks setzt, verliert die Existenzgrundlage, bevor eine neue Einnahmequelle sie ersetzt.

Zweitens: Wer sich auf Cloudflares neue Opt-in-Logik verlässt, gibt die Kontrolle an einen einzigen Anbieter ab. Cloudflare entscheidet über Kategorien, Standardwerte und Preisfindung. Wer nicht bei Cloudflare gehostet ist, hat von alldem nichts. Und selbst innerhalb des Cloudflare-Ökosystems bleibt offen, ob sich KI-Unternehmen an die Kategorisierung halten oder Crawler bauen, die sich als Suchmaschine tarnen, um die Zahlungspflicht zu umgehen.

Google macht das Problem selbst noch größer

Cloudflare und x402 betreffen KI-Crawler von OpenAI, Anthropic oder Perplexity. Das größere Problem sitzt aber näher an der Quelle: bei Google selbst, direkt auf der eigenen Suchseite.

AI Overviews erscheinen inzwischen in 48 Prozent aller Google-Suchanfragen, Anfang 2025 waren es noch 6,5 Prozent. Über zwei Milliarden Menschen sehen diese KI-Zusammenfassungen monatlich, meldete Google auf der eigenen I/O-Konferenz 2026. In Deutschland endet mittlerweile mehr als jede zweite Suche komplett ohne Klick. ^[8] Der AI Mode, Googles Chat-Suche, wuchs im ersten Jahr auf über eine Milliarde monatliche Nutzer, mit einer Verdopplung der Anfragen in jedem Quartal seit dem Start. ^[9]

Und Google verschmilzt beide Systeme gerade weiter. Seit Ende August 2026 lädt Google bei bestimmten Suchanfragen den AI Mode automatisch nach, ohne dass Nutzer erst auf „Mehr anzeigen" klicken müssen. ^[10] Im September 2026 begann Google zusätzlich, den AI Mode direkt in die AI Overviews der klassischen Suche zu schieben. ^[11] Der Klick zur Quelle entfällt damit noch früher, nicht erst nach einer bewussten Entscheidung des Nutzers.

Parallel dazu schraubt Google an der Sichtbarkeit der verbleibenden Links selbst. Seit dem 26. August 2026 bestätigt Google, dass Suchergebnisse standardmäßig über die eigene Adresse google.com/goto umgeleitet werden, bevor ein Klick bei der Zielseite ankommt. ^[12] Offiziell dient das dem Schutz vor Missbrauch. Betroffen sind vor allem Tools, die Rankings und Zitationen messen. Bei AI-Overview-Ergebnissen blieb die tatsächliche Zieladresse Ende August in über der Hälfte der Fälle unauflösbar, bei klassischen organischen Ergebnissen nahezu nie. ^[13]

Für Publisher bedeutet das zwei Dinge gleichzeitig. Erstens sinkt die Zahl der Klicks weiter, weil Google die Antwort direkt ausliefert, oft ohne dass ein Nutzer überhaupt danach fragt. Zweitens wird der verbleibende Rest schwerer messbar, weil Google die Zieladresse hinter einem eigenen Redirect verbirgt. Wer wissen will, ob und wie oft die eigene Seite in einer KI-Antwort zitiert wird, blickt zunehmend auf eine Datenlücke, die Google selbst erzeugt.

Das ist die Kehrseite zur Cloudflare-Geschichte. Cloudflare baut wenigstens eine Bezahlschicht für den Traffic, den KI-Unternehmen abgreifen. Google, der größte Traffic-Lieferant im Web, baut in derselben Zeit vor allem eines aus: die eigene Blockade.

Die Optionen zur Monetarisierung

Wer heute Geld für KI-Zugriff verlangen will, wählt zwischen drei Wegen.

Cloudflares Pay Per Crawl beziehungsweise Pay Per Use. Site-weiter oder dynamischer Preis, automatisiert über 402-Antworten, Abrechnung über Stripe. Voraussetzung: Die Domain läuft über Cloudflare.

Der RSL-Standard. Really Simple Licensing lässt Publisher Lizenz- und Vergütungsbedingungen direkt in die robots.txt schreiben, ergänzt um eine eigene Lizenzdatei. RSL 1.0 wurde im Dezember 2025 offizieller Standard, unterstützt von Reddit, Yahoo, Medium, O'Reilly Media, Ziff Davis, Fastly und über 1.500 weiteren Organisationen. ^[14] Der Standard kennt Kategorien wie „ai-all", „ai-input" und „ai-index" und erlaubt feinere Unterscheidungen als ein einfaches Blockieren. Nur: RSL braucht die Kooperation der KI-Unternehmen. Ohne deren Zustimmung bleibt der Eintrag in der robots.txt eine Bitte, kein Vertrag. ^[15]

Direkte Lizenzverträge. Der Axel Springer Verlag vereinbarte bereits 2023 eine Kooperation mit OpenAI. Microsoft eröffnete im Februar 2026 mit dem Publisher Content Marketplace einen eigenen Marktplatz, auf dem Verlage Inhalte zu selbst gewählten Bedingungen anbieten. ^[16] Das ist der klassischste Weg: Zwei Parteien verhandeln, ein Vertrag entsteht, beide Seiten kennen die Bedingungen.

Was alle drei Wege verbindet: San Francisco, San Francisco, Redmond. Kein einziger Standard, keine einzige Infrastruktur kommt aus Europa.

Das Abrechnungsproblem

x402 rechnet in Stablecoins ab, fast ausschließlich in USDC auf den Blockchains Base und Solana. ^[7] Der Dollar-Stablecoin-Markt liegt bei rund 318 Milliarden Dollar, allein USDT bringt 189,5 Milliarden Dollar auf die Waage. ^[17] Der komplette Euro-Stablecoin-Markt kommt zusammen auf weniger als 350 Millionen Euro. ^[18]

Für einen deutschen Blogger oder ein kleines Medienhaus bedeutet das: Wer über x402 bezahlt wird, bekommt USDC in eine Blockchain-Wallet, nicht Euro aufs Geschäftskonto. Von dort folgen Fragen, die ein Zahlungsprotokoll nicht beantwortet. Wie funktioniert die Umwandlung in Euro? Welche steuerliche Behandlung gilt für Einnahmen in einem Kryptowert, der kein gesetzliches Zahlungsmittel ist? Wer übernimmt die Verwahrung der Wallet, und was passiert bei Verlust des privaten Schlüssels?

Die EU reguliert genau diesen Bereich seit 2023 über die MiCA-Verordnung, allerdings mit dem gegenteiligen Ziel. MiCA verbietet algorithmische Stablecoins in der EU vollständig und verlangt von Emittenten fiat-gedeckter Token eine Lizenz plus vollständige Reserve im Verhältnis 1 zu 1. ^[19] Neun europäische Banken, darunter ING und UniCredit, arbeiten seit 2026 an einem eigenen Euro-Stablecoin, reguliert nach MiCA. ^[18] Bis der verfügbar und in x402 integriert ist, bleibt die Abrechnung dollarbasiert und außerhalb des Rahmens, den sich die EU selbst gegeben hat.

Die Zahlungsschicht der neuen KI-Ökonomie läuft also an der europäischen Finanzregulierung vorbei. Nicht, weil sie das absichtlich täte, sondern weil in Europa kein wettbewerbsfähiges Settlement-Netzwerk existiert.

Das Vertragsproblem

Pay Per Crawl ist kein Lizenzvertrag im klassischen Sinn. Es ist ein automatisierter, site-weiter Festpreis, durchgesetzt über HTTP-Statuscodes. Es fehlen Nutzungsumfang, Haftungsregeln, Gewährleistung und Prüfrechte, also genau die Klauseln, die ein Justiziar in jedem klassischen Content-Lizenzvertrag erwarten würde.

RSL versucht, diese Lücke zu schließen, indem der Standard Lizenzbedingungen maschinenlesbar macht. Die praktische Wirkung hängt aber vom geltenden Recht, den tatsächlichen Rechteinhabern und davon ab, ob überhaupt ein Vertrag zustande kommt. ^[15] Ohne verbindliche Durchsetzung bleibt RSL ein Vorschlag an KI-Unternehmen, kein einklagbares Recht.

Deutschland hat mit dem Presseleistungsschutzrecht dagegen ein Instrument, das tatsächlich Geld bringt. Die Verwertungsgesellschaft Corint Media handelt für rund 200 digitale Verlagsangebote und mehrere Sender Vergütungen aus, notfalls über die Schiedsstelle beim Deutschen Patent- und Markenamt. Google zahlte rückwirkend 8,2 Millionen Euro für den Zeitraum bis Ende 2023 und seitdem jährlich 3,2 Millionen Euro an Corint Media. ^[20] Nur: Dieses Recht wurde für Snippets in Suchmaschinen und News-Aggregatoren geschrieben, lange bevor generative KI Inhalte nicht mehr anzeigt, sondern in Modellgewichte umrechnet. Ob und wie das Presseleistungsschutzrecht auf Trainingsdaten passt, ist juristisch bis heute nicht abschließend geklärt.

Die DSM-Richtlinie von 2019 bietet mit Artikel 4 ein Opt-out für Text- und Data-Mining, technisch umgesetzt über robots.txt-ähnliche Signale. ^[3] Das ist ein Schalter, kein Preis. Wer das TDM-Opt-out setzt, verhindert die Nutzung, verhandelt aber keine Vergütung. Der Europäische Datenschutzausschuss legte dazu im Juli 2026 ergänzende Leitlinien zum Web-Scraping für generative KI vor, mit öffentlicher Konsultation bis Ende Oktober 2026. Auch diese Leitlinien klären die Rechtsgrundlage nach DSGVO, nicht die Vergütung. ^[21]

Europas fehlende Antwort

Vergleicht man beide Kontinente, zeigt sich ein wiederkehrendes Muster.

Europa reguliert, baut aber nicht. Bei der Monetarisierung von KI-Traffic wiederholt sich das exakt, und bei der Suche kommt sogar noch eine Stufe dazu: Europa hat gegen Googles goto-Links, gegen das Verschmelzen von AI Mode und AI Overviews, kein Instrument. Nicht mal ein stumpfes. Die EU hat mit DSGVO, DSM-Richtlinie und AI Act reale Rechtsinstrumente geschaffen. Keines davon liefert eine Zahlungsschiene, einen offenen Standard oder eine eigene Verwertungsplattform. Diese Schicht bauen Cloudflare, Coinbase, die RSL Collective, Google und Microsoft, alle mit Sitz in den USA.

Fazit: Bot yourself heißt, es fragt niemand

„Bot yourself" ist die ehrlichste Zusammenfassung dessen, was gerade passiert. Wer seine Inhalte nicht selbst zu Geld macht, wird zur Rohware für fremde Bots, kostenlos abgegriffen und woanders monetarisiert. Und wer sich wehren will, verhandelt nicht mit einem Gesetzgeber, sondern mit Cloudflares Preistabelle, Googles Redirect-Logik oder einer robots.txt-Erweiterung, die kein Gericht durchsetzt.

Europa hat auf diese Verschiebung bislang mit Recht geantwortet, nicht mit Infrastruktur. Das Presseleistungsschutzrecht bringt Geld, aber nur denen, die sich einen jahrelangen Streit über eine Verwertungsgesellschaft leisten können. Die DSGVO klärt, was erlaubt ist, nicht, was es kostet. Und die Zahlungsschiene, über die künftig ein Großteil der Vergütung fließen soll, läuft auf Dollar-Stablecoins, außerhalb der Reichweite europäischer Regulierung.

Wer heute als Content-Ersteller in Europa sitzt, wählt zwischen zwei schlechten Optionen: sich in ein US-amerikanisches Ökosystem einklinken, dessen Regeln ein einzelnes Unternehmen setzt, oder auf ein Recht warten, das noch keine passende Antwort für Trainingsdaten kennt. Eine dritte Option, eine europäische Zahlungs- und Lizenzinfrastruktur, existiert bislang nicht einmal als Ankündigung. Bot yourself, in etwa. Es fragt ja niemand.