Das offene Web bekommt möglicherweise erstmals einen gemeinsamen Mechanismus, mit dem Website-Betreiber mehreren großen KI-Unternehmen gleichzeitig mitteilen können, ob ihre Inhalte für das Training generativer KI verwendet werden dürfen. OpenAI, Google, Microsoft und Anthropic unterstützen einen neuen Ansatz innerhalb der robots.txt-Datei, der die bislang fragmentierten Opt-out-Regeln vereinheitlichen soll.
Am 30. Oktober 2026 veröffentlichte Anthropic-Standardisierungsexperte Kevin Kelley dazu einen Internet-Draft bei der Internet Engineering Task Force. Der Vorschlag führt einen sogenannten Policy Token ein. Website-Betreiber können damit beispielsweise festlegen, dass Inhalte ihrer Domain nicht für das Training generativer Basismodelle verwendet werden sollen, ohne dafür für jeden einzelnen KI-Crawler separate Regeln pflegen zu müssen. OpenAI hat angekündigt, das gemeinsame Signal in den kommenden Monaten zu unterstützen. Anthropic verwendet den Ansatz bereits, während Google und Microsoft ebenfalls Unterstützung angekündigt haben.
Das klingt zunächst nach einer kleinen technischen Änderung in einer Datei, die viele Nutzerinnen und Nutzer niemals sehen. Tatsächlich berührt der Vorschlag jedoch eine der zentralen Fragen der nächsten Phase generativer KI: Wer darf öffentlich zugängliche Inhalte für das Training von Modellen verwenden, und wie können Website-Betreiber ihre Präferenzen darüber technisch ausdrücken?
Bisher musste jeder KI-Crawler einzeln behandelt werden
Die robots.txt-Datei existiert seit Jahrzehnten und dient traditionell dazu, Suchmaschinen und anderen automatisierten Crawlern mitzuteilen, welche Bereiche einer Website sie abrufen sollen und welche nicht.
Mit dem Aufstieg generativer KI wurde dieses einfache Prinzip komplizierter.
OpenAI betreibt eigene Crawler, Anthropic ebenfalls. Google verwendet unterschiedliche Systeme für klassische Suche und KI-Nutzung. Hinzu kommen Microsoft, Meta, Perplexity und zahlreiche weitere Anbieter. Wer verhindern wollte, dass bestimmte Inhalte für KI-Training verwendet werden, musste deshalb bislang häufig einzelne Bots identifizieren und für jeden eigene Regeln hinterlegen.
Genau diesen Aufwand soll der neue Ansatz reduzieren.
OpenAI beschreibt das Ziel ausdrücklich als gemeinsamen Mechanismus, über den Website-Verantwortliche dieselbe Trainingspräferenz mehreren teilnehmenden KI-Anbietern gleichzeitig mitteilen können.
Der neue Eintrag sieht überraschend unspektakulär aus
Der derzeit vorgeschlagene Mechanismus basiert vollständig auf der bestehenden robots.txt-Struktur.
Ein Website-Betreiber könnte beispielsweise folgenden Eintrag verwenden:
User-Agent: __usage_ai-training
Disallow: /
Damit würde die Website ausdrücken, dass ihre Inhalte nicht für das Training generativer KI verwendet werden sollen.
Soll ein bestimmter Bereich trotzdem freigegeben werden, lässt sich das ebenfalls definieren:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
In diesem Beispiel wäre das KI-Training für die gesamte Website unerwünscht, während Inhalte unter dem Pfad /press-kit/ ausdrücklich freigegeben würden. Die bestehenden Regeln für Pfade und Prioritäten innerhalb von robots.txt bleiben erhalten. Der Entwurf führt weder eine neue Dateistruktur noch neue Direktiven ein.
Gerade diese Einfachheit ist Absicht. Bestehende Webserver, Content-Management-Systeme und robots.txt-Parser sollen möglichst wenig angepasst werden müssen.
Der wichtigste Unterschied: Crawling und Training werden getrennt
Der technisch interessanteste Punkt wird leicht übersehen.
Der neue Policy Token entscheidet nicht darüber, ob ein KI-Crawler eine Website technisch besuchen darf.
Er beschreibt, wie bereits abgerufene Inhalte verwendet werden sollen.
Das ist ein fundamentaler Unterschied.
Ein Publisher könnte beispielsweise wollen, dass OpenAI oder Microsoft seine Website weiterhin abrufen dürfen, damit Inhalte in Such- oder Antwortsystemen gefunden werden können. Gleichzeitig könnte er verhindern wollen, dass dieselben Texte später als Trainingsdaten für neue Basismodelle verwendet werden.
Genau diese Trennung zwischen Zugriff und Nutzung versucht der neue Standard abzubilden.
Der IETF-Entwurf beschreibt das Signal ausdrücklich als Präferenz über die Verwendung von Inhalten und nicht als Mechanismus zur Steuerung des Netzwerkverkehrs. Bestehende Regeln für konkrete Crawler bleiben deshalb parallel bestehen.
robots.txt bekommt damit eine völlig neue Rolle
Historisch war robots.txt vor allem ein Crawling-Protokoll.
Ein Suchmaschinenbetreiber konnte beispielsweise angewiesen werden, einen bestimmten Bereich einer Website nicht zu indexieren oder abzurufen.
Der neue Ansatz verwendet dieselbe Infrastruktur für eine andere Frage:
Nicht nur „Darfst du diese Seite abrufen?“, sondern zusätzlich „Wofür darfst du ihren Inhalt anschließend verwenden?“
Damit entwickelt sich robots.txt von einer technischen Crawling-Datei zunehmend zu einer Art maschinenlesbarer Nutzungserklärung.
Das könnte weitreichende Folgen haben.
Wenn sich das Konzept etabliert, könnten künftig weitere Nutzungskategorien hinzukommen. Denkbar wären unterschiedliche Signale für Modelltraining, KI-Suche, Retrieval, Zusammenfassungen oder andere Formen automatisierter Verarbeitung.
Der aktuelle Entwurf konzentriert sich zunächst ausdrücklich auf den Zweck ai-training.
Noch ist das kein fertiger Internetstandard
Trotz der prominenten Unterstützer ist wichtig, den aktuellen Status richtig einzuordnen.
Der Vorschlag vom 30. Oktober ist zunächst ein Internet-Draft.
Ein solcher Entwurf kann grundsätzlich von Einzelpersonen eingereicht werden und ist noch kein verabschiedeter IETF-Standard. Der Datatracker weist ausdrücklich darauf hin, dass der Entwurf aktuell keine formelle Zustimmung der IETF besitzt.
Das bedeutet: Die technische Idee kann sich noch verändern.
Auch die großen KI-Anbieter befinden sich in unterschiedlichen Implementierungsphasen. OpenAI will das Signal in den kommenden Monaten unterstützen. Anthropic ist bereits weiter. Google und Microsoft haben Unterstützung angekündigt, ihre vollständige Umsetzung soll jedoch ebenfalls schrittweise erfolgen.
Wer den entsprechenden Eintrag heute in seine robots.txt schreibt, sollte deshalb nicht davon ausgehen, dass sämtliche KI-Anbieter ihn bereits automatisch beachten.
Freiwillig bleibt der Mechanismus ebenfalls
Noch wichtiger ist eine zweite Einschränkung.
robots.txt ist grundsätzlich kein technischer Zugriffsschutz.
Eine Website kann dort eine Präferenz veröffentlichen. Ein Anbieter muss sich jedoch dazu entscheiden, diese Präferenz zu respektieren.
Dass OpenAI, Anthropic, Google und Microsoft den gemeinsamen Mechanismus unterstützen, erhöht deshalb seine Bedeutung erheblich. Ein universelles Verbot gegenüber jedem beliebigen Crawler entsteht dadurch jedoch nicht.
Ein Anbieter, der sich nicht am Standard beteiligt, könnte Inhalte technisch weiterhin abrufen, sofern keine weiteren Schutzmechanismen eingesetzt werden.
Der Wert des neuen Systems hängt deshalb stark davon ab, wie viele Unternehmen sich langfristig anschließen.
Meta unterstützt die Idee, hat sich aber noch nicht vollständig verpflichtet
Besonders interessant ist deshalb die Position von Meta.
Nach aktuellen Berichten unterstützt das Unternehmen grundsätzlich die Idee eines gemeinsamen Standards für solche Präferenzen. Meta hat bislang jedoch nicht in gleicher Weise bestätigt, dass seine eigenen Systeme den konkreten neuen Policy Token übernehmen werden.
Damit zeigt sich bereits die politische Dimension technischer Standards.
Ein gemeinsames Opt-out funktioniert umso besser, je mehr große Modellanbieter es respektieren. Sobald wichtige Unternehmen eigene Regeln verwenden oder den Standard nicht unterstützen, müssen Publisher wieder mehrere Systeme parallel pflegen.
Google hat bereits eigene Kontrollen
Google beginnt bei diesem Thema nicht bei null.
Website-Betreiber können bereits über Google-Extended beeinflussen, ob Inhalte für bestimmte generative KI-Systeme von Google verwendet werden dürfen, ohne ihre Sichtbarkeit in der klassischen Google-Suche automatisch zu verlieren.
Der neue gemeinsame Policy Token könnte langfristig dazu führen, dass solche unternehmensspezifischen Mechanismen um eine branchenübergreifende Ebene ergänzt werden.
Für Website-Betreiber wäre das wesentlich übersichtlicher.
Statt sich mit Google-Extended, GPTBot, ClaudeBot und weiteren individuellen Systemen auseinanderzusetzen, könnte eine allgemeine Trainingspräferenz einmal zentral definiert werden.
Spezifische Regeln könnten daneben weiterhin bestehen bleiben.
Microsoft will Training und Grounding getrennt behandeln
Besonders relevant ist die Unterscheidung zwischen Training und sogenanntem Grounding.
Training bedeutet, dass Inhalte verwendet werden, um die Parameter eines Modells während seiner Entwicklung zu beeinflussen.
Grounding bedeutet dagegen, dass ein bereits trainiertes Modell aktuelle Informationen aus externen Quellen abruft, um eine konkrete Antwort zu erstellen.
Diese beiden Vorgänge werden in öffentlichen Diskussionen häufig vermischt.
Ein Verlag könnte durchaus sagen: Unsere Artikel dürfen nicht in das Training des nächsten Basismodells einfließen, aber sie dürfen in aktuellen KI-Suchergebnissen erscheinen und dabei als Quelle verlinkt werden.
Microsoft hat angekündigt, für solche Nutzungsszenarien getrennte Kontrollen anzubieten.
Damit wird deutlich, wohin sich die technische Debatte entwickelt: Ein simples „KI erlaubt“ oder „KI verboten“ reicht langfristig nicht aus.
Für Publisher geht es um mehr als Copyright
Die Diskussion wird häufig ausschließlich als Urheberrechtsfrage dargestellt.
Für Publisher ist die wirtschaftliche Dimension mindestens ebenso wichtig.
Klassische Suchmaschinen waren jahrzehntelang Teil eines relativ klaren Austauschs. Suchmaschinen indexierten Inhalte und schickten Nutzerinnen und Nutzer über Links zurück auf die ursprünglichen Websites.
Generative KI verändert dieses Modell.
Wenn ein KI-System Informationen direkt zusammenfasst und Nutzer die ursprüngliche Website nicht mehr besuchen müssen, kann der wirtschaftliche Wert des ursprünglichen Contents sinken.
Damit entstehen neue Fragen.
Soll ein Artikel für das Training verwendet werden dürfen?
Darf er für eine aktuelle KI-Antwort abgerufen werden?
Muss die ursprüngliche Quelle sichtbar genannt werden?
Soll der Publisher dafür bezahlt werden?
Der neue robots.txt-Mechanismus beantwortet nur einen kleinen Teil davon. Er liefert jedoch erstmals einen möglichen gemeinsamen technischen Baustein.
Für Unternehmenswebsites stellt sich ebenfalls eine strategische Frage
Nicht nur Medienhäuser sollten sich mit dem Thema beschäftigen.
Auch Unternehmen veröffentlichen erhebliche Mengen wertvoller Inhalte im offenen Web.
Produktdokumentationen, technische Artikel, Studien, Wissensdatenbanken, Support-Seiten und Whitepaper können potenziell als Trainingsmaterial verwendet werden.
Bislang war häufig überhaupt nicht klar geregelt, ob ein Unternehmen das möchte.
Mit einem standardisierten AI-Training-Signal könnte diese Entscheidung künftig Teil der normalen Web-Governance werden.
Unternehmen müssten dann beispielsweise festlegen, ob öffentliche Marketingseiten für Training freigegeben werden, technische Dokumentationen ausgeschlossen bleiben oder Presseinformationen bewusst verwendet werden dürfen.
Die robots.txt-Datei würde damit plötzlich zu einer strategischen Governance-Datei.
Komplett sperren kann ebenfalls Nachteile haben
Ein pauschales Opt-out ist allerdings nicht automatisch die beste Entscheidung.
Wenn KI-Assistenten künftig zu einem wichtigen Zugang zum Internet werden, möchten Unternehmen möglicherweise weiterhin in deren Antworten vorkommen.
Eine vollständige Blockade sämtlicher KI-Crawler könnte dann ähnlich problematisch werden wie eine Website, die sich heute vollständig vor Suchmaschinen versteckt.
Deshalb ist die neue Trennung so wichtig.
Unternehmen könnten Training ablehnen und gleichzeitig erlauben, dass bestimmte Systeme ihre aktuellen Inhalte zur Beantwortung von Nutzerfragen verwenden.
Aus SEO könnte damit zunehmend etwas entstehen, das sich als AI Visibility oder Generative Engine Optimisation beschreiben lässt.
Die Frage lautet dann nicht mehr nur, wie gut eine Website bei Google rankt.
Sie lautet auch, ob und wie ihre Inhalte von KI-Assistenten gefunden, verstanden und zitiert werden.
Der neue Standard könnte auch Lizenzmodelle erleichtern
Eine weitere mögliche Folge betrifft Content-Lizenzen.
Wenn Websites maschinenlesbar ausdrücken können, dass ihre Inhalte nicht frei für Training verfügbar sind, entsteht gleichzeitig eine klarere Grundlage für individuelle Vereinbarungen.
Ein Publisher könnte generelles Training ablehnen, einzelnen Modellanbietern aber gegen Bezahlung Zugriff gewähren.
Genau solche Verträge existieren bereits zwischen KI-Unternehmen und großen Medienhäusern.
Ein standardisiertes Opt-out könnte damit indirekt die Entwicklung eines kommerziellen Marktes für Trainingsdaten beschleunigen.
Wer standardmäßig Nein sagen kann, besitzt eine bessere Ausgangsposition, um anschließend unter bestimmten Bedingungen Ja zu sagen.
Der entscheidende Konflikt verschiebt sich von Zugriff zu Nutzungsrechten
Das ist möglicherweise die wichtigste Entwicklung hinter dem neuen Vorschlag.
Die frühe Diskussion über KI-Crawler konzentrierte sich stark darauf, ob Bots Websites überhaupt abrufen dürfen.
Die nächste Phase wird differenzierter.
Inhalte können öffentlich zugänglich sein und trotzdem unterschiedlichen Nutzungsbedingungen unterliegen.
Ein Mensch darf einen Artikel lesen.
Eine Suchmaschine darf ihn möglicherweise indexieren.
Ein KI-Assistent darf ihn eventuell für eine aktuelle Antwort abrufen.
Aber daraus folgt nicht zwangsläufig, dass derselbe Artikel zum Training des nächsten Modells verwendet werden soll.
Genau diese Ebenen versucht der neue Ansatz technisch voneinander zu trennen.
Ein kleiner Eintrag mit möglicherweise großer Wirkung
Technisch betrachtet besteht die Neuerung aus wenigen Zeilen Text in einer robots.txt-Datei.
Strategisch könnte sie deutlich größer werden.
Zum ersten Mal unterstützen mehrere der wichtigsten westlichen KI-Unternehmen einen gemeinsamen Mechanismus, über den Website-Betreiber ihre Trainingspräferenzen ausdrücken können.
Noch ist daraus kein verbindlicher Internetstandard geworden. Noch unterstützen nicht alle Unternehmen das Signal vollständig. Und robots.txt bleibt eine freiwillig respektierte Präferenz, kein technischer Kopierschutz.
Trotzdem verändert sich damit die Richtung.
Bisher mussten Publisher versuchen, immer neue KI-Crawler einzeln zu identifizieren und zu blockieren.
Künftig könnte die Logik umgekehrt werden.
Die Website formuliert einmal, wie ihre Inhalte verwendet werden dürfen – und KI-Anbieter müssen diese Präferenz interpretieren.
Damit bekommt eine unscheinbare Datei aus den frühen Tagen des Webs plötzlich eine neue Aufgabe.
robots.txt entscheidet künftig möglicherweise nicht mehr nur darüber, wer eine Website besuchen darf.
Sondern zunehmend auch darüber, was Maschinen mit dem Wissen tun dürfen, das sie dort finden.
