OpenAI beachtet gemeinsames KI-Trainingssignal in robots.txt

OpenAI will ein gemeinsames Signal in der robots.txt beachten, mit dem Websites ihre Präferenz zur Nutzung ihrer Inhalte für das Training generativer KI-Grundmodelle ausdrücken. Laut Ankündigung vom 30. Oktober 2026 soll damit dieselbe Präferenz an mehrere teilnehmende Anbieter auf einmal gehen, statt für jeden Crawler eigene Regeln zu pflegen. Das Signal basiert auf einem IETF-Entwurf, der am selben Tag veröffentlicht wurde.

Relevant ist das für Betreiber von Websites, Blogs und Shops, die ihre Inhalte nicht für KI-Training freigeben wollen oder das bewusst steuern möchten. Akuter Handlungsbedarf besteht nicht: OpenAI will das Signal erst in den kommenden Monaten umsetzen. Die robots.txt-Strategie lässt sich aber schon jetzt im nächsten Wartungsfenster überprüfen.

Was ist passiert?

OpenAI verlinkt in der Ankündigung auf den Internet-Draft draft-kelley-aipref-training-preference-signal-00 mit dem Titel „Machine-Readable Training Preference Signal“. Autor ist Kevin Kelley von Anthropic. Der Entwurf definiert das Policy-Token __usage_ai-training, das wie ein normaler User-Agent in einer eigenen robots.txt-Gruppe steht. Das Beispiel aus dem Entwurf:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Damit drückt ein Betreiber eine Präferenz gegen KI-Training für alle Pfade aus, außer für /press-kit/, wo eine Präferenz dafür gilt. Neue Direktiven oder neue Syntax führt der Entwurf nicht ein. Die Definition von KI-Training stammt aus dem Vokabular-Entwurf der IETF-Arbeitsgruppe AI Preferences (aipref): die Nutzung von Inhalten, um gelernte Parameter eines generativen KI-Modells zu verändern.

Laut The Verge und The Next Web unterstützen auch Google, Microsoft und Anthropic das Signal. Google plant die Unterstützung laut The Next Web für 2027, Microsoft ab dem 1. Februar 2027. Anthropic hat die Arbeit daran laut Kelley bereits begonnen.

Für wen ist das relevant?

Das Signal betrifft alle, die eine robots.txt pflegen, also Admins von Unternehmenswebsites, Agenturen und Redaktionen. Wirkung entfaltet es nur bei Anbietern, die freiwillig teilnehmen. Crawler anderer Anbieter ignorieren die Gruppe wie jeden unbekannten User-Agent.

Wie wichtig ist das?

Der Schritt vereinfacht die Pflege, ist aber kein technischer Schutz. Der Entwurf stellt klar, dass das Token keine Anweisung zum Crawling ist, sondern eine Nutzungspräferenz. Gruppen für User-Agent: * zählen ausdrücklich nicht als Präferenz. Fehlt die Token-Gruppe, gilt keine Präferenz als ausgedrückt. Private Vereinbarungen dürfen die Präferenz überschreiben. Zudem handelt es sich um eine individuelle Einreichung, die laut IETF-Datatracker nicht von der IETF angenommen ist.

OpenAI betont, dass die bestehenden Crawler-Steuerungen weiter gelten. Laut OpenAI-Dokumentation zeigt ein Disallow für GPTBot an, dass Inhalte nicht für das Training der generativen Grundmodelle genutzt werden sollen. OAI-SearchBot steuert dagegen die Anzeige in den Suchfunktionen von ChatGPT; beide Einstellungen sind voneinander unabhängig.

Was sollten Admins jetzt tun?

• Bestand prüfen: aktuelle robots.txt auslesen und erfassen, welche KI-Crawler wie GPTBot bereits einzeln geregelt sind.
• Training und Suche trennen: Wer in ChatGPT-Suchergebnissen sichtbar bleiben will, sollte OAI-SearchBot nicht versehentlich mit GPTBot sperren.
• Bestehende Einzelregeln vorerst behalten, da OpenAI das neue Signal noch nicht umgesetzt hat.
• Bei Einsatz des Tokens die gesamte Absicht formulieren: erst Disallow: /, dann gezielte Ausnahmen. Eine Gruppe, die nur einen Ordner sperrt, signalisiert für alle übrigen Pfade Zustimmung.
• Für echten Zugriffsschutz auf technische Mittel wie Zugangsbeschränkungen setzen, da robots.txt nur eine Bitte ist.

Einordnung für Unternehmen

Für Unternehmen ist das Signal vor allem eine Arbeitserleichterung. Statt langer Listen einzelner KI-Crawler genügt künftig eine Gruppe, sofern die relevanten Anbieter mitmachen. Ob und wie konsequent sie das umsetzen, zeigt sich erst mit den angekündigten Implementierungsdetails. Bis dahin bleibt die bisherige Pflege einzelner User-Agents der verlässlichere Weg. Rechtliche Fragen und Lizenzierung regelt das Signal nicht; Microsoft betont laut The Next Web ausdrücklich, dass damit keine Lizenz- oder Zahlungsvereinbarungen entstehen.

Passende Anleitungen auf S-EDV

• WordPress: robots.txt richtig konfigurieren
• Anthropic fragt Claude-Nutzer nach Sprachdaten fürs Training

Quellen

• OpenAI: Making it easier for websites to express AI training preferences (30.10.2026)
• IETF Datatracker: draft-kelley-aipref-training-preference-signal-00
• The Verge: The biggest names in AI are backing a new way to opt out of scraping
• The Next Web: Google, Microsoft, OpenAI and Anthropic back one AI training opt-out
• OpenAI-Dokumentation: Overview of OpenAI Crawlers