Für Unternehmen ist deshalb vor allem eines wichtig: Du musst nicht jeden technischen Bot verstehen. Du solltest aber wissen, welche Systeme du für welche Zwecke zulassen oder ausschließen möchtest.

Wie Informationen grundsätzlich in KI-Antworten gelangen, erklärt KI-Suche einfach erklärt. Diese Seite klärt den nächsten Schritt: Kann ein KI-Suchsystem auf deine wichtigen Inhalte zugreifen – und hast du die richtigen Systeme dafür freigegeben?

Von Tanja Dirnberger · Marketing-PRAKTIKERIN

Warum technische Zugänglichkeit für KI-Suche wichtig ist

Generative Suchsysteme benötigen Informationen. Wenn sie aktuelle Informationen aus dem Web verwenden, müssen diese über einen unterstützten technischen Weg erreichbar sein.

Eine Website kann den besten Inhalt der Branche enthalten. Wenn der relevante Suchcrawler die Seite nicht abrufen darf, vom Server blockiert, vom CDN abgewiesen wird oder die URL nicht verwendet werden darf, kann dieser Inhalt für die betreffende Suchfunktion möglicherweise nicht berücksichtigt werden.

Technische Erreichbarkeit ist aber nur die Eingangstür. Danach müssen Inhalte noch relevant, verständlich, hilfreich und geeignet sein.

Zugänglich sein ist Voraussetzung. Nicht Erfolgsgarantie.

Zugang ist nur die erste Stufe

1Zugänglich

2Gefunden

3Als relevant eingestuft

4Möglicherweise verwendet

5Möglicherweise zitiert

Kein Schritt garantiert den nächsten.

KI-Bot ist nicht gleich KI-Bot

Der Begriff „KI-Crawler“ ist zu ungenau. Ein Anbieter kann unterschiedliche technische Systeme für unterschiedliche Zwecke verwenden.

1. Search-Crawler

Ein automatischer Crawler, der Inhalte für Suchfunktionen auffindbar macht. Beispiel: OAI-SearchBot von OpenAI.

2. Training-Crawler

Ein Crawler, dessen Inhalte für die Entwicklung oder Verbesserung generativer Modelle verwendet werden können. Beispiel: GPTBot von OpenAI.

3. Nutzergesteuerter Abruf

Ein System besucht eine Seite, weil eine Nutzerin oder ein Nutzer konkret eine Aktion ausgelöst hat. Beispiel: ChatGPT-User kann bei bestimmten nutzerinitiierten Aktionen verwendet werden.

Drei unterschiedliche Zugriffsarten

  • Suchen

    Search-Crawler

    Inhalte für Suchfunktionen entdecken

  • Trainieren

    Training-Crawler

    Inhalte können für Modelltraining verwendet werden

  • Auf Nutzerwunsch abrufen

    Nutzergesteuerter Abruf

    Seite wird wegen einer konkreten Nutzeraktion geladen

Nicht alles, was wie ein KI-Bot aussieht, erfüllt denselben Zweck.

Was steuert robots.txt?

Die robots.txt ist eine Datei auf deiner Website (zum Beispiel deine-domain.at/robots.txt), mit der automatischen Crawlern mitgeteilt werden kann, welche Bereiche sie abrufen dürfen – etwa „dieser Bot darf zugreifen“ oder „dieser Bot darf bestimmte Bereiche nicht abrufen“.

robots.txt ist eine Crawling-Steuerung. Sie ist nicht: Passwortschutz, Datenschutz, Zugriffsschutz für Menschen, Garantie gegen jede Indexierung oder Garantie gegen jede URL-Erwähnung.

Die technischen Grundlagen findest du unter Technisches SEO einfach erklärt.

Search und Training: Warum du unterscheiden solltest

Eine häufige Annahme lautet: „Wenn ich KI-Training nicht möchte, muss ich alle KI-Bots blockieren.“ Das ist zu pauschal. Bei mehreren Anbietern können Search und Modelltraining unterschiedlich steuerbar sein.

Für Unternehmen entstehen deshalb zwei getrennte Fragen: Möchte ich meine öffentlich verfügbaren Inhalte grundsätzlich für KI-Suche auffindbar machen? Und unabhängig davon: Möchte ich zulassen, dass Inhalte für das Training bestimmter Modelle verwendet werden?

KI-Suche und KI-Training sind zwei verschiedene Entscheidungen

  • Frage 1 · Search

    Suchsichtbarkeit

    Soll meine Website in KI-Suchfunktionen auffindbar sein?

  • Frage 2 · Training

    Modelltraining

    Soll mein Inhalt für Modelltraining verwendet werden dürfen?

Je nach Anbieter können diese Einstellungen getrennt gesteuert werden.

OpenAI: OAI-SearchBot, GPTBot und ChatGPT-User

OAI-SearchBot

OAI-SearchBot ist laut OpenAI für Search vorgesehen. Er wird verwendet, damit Websites in ChatGPT-Suchfunktionen erscheinen können. Wer möchte, dass eigene Inhalte in ChatGPT Search entdeckt, zusammengefasst, zitiert und verlinkt werden können, sollte OAI-SearchBot nicht blockieren.

OpenAI empfiehlt zusätzlich, dass Host, CDN oder Firewall Zugriffe aus den veröffentlichten SearchBot-IP-Bereichen zulassen. „Zulassen“ bedeutet dabei: technisch infrage kommen. Eine Aufnahme ist nicht garantiert.

Quelle: OpenAI Developers – Overview of OpenAI Crawlers

Quelle: OpenAI Help Center – Publishers and Developers – FAQ

GPTBot

GPTBot dient laut OpenAI dem Crawling von Inhalten, die für die Verbesserung und das Training generativer Foundation Models verwendet werden können. Websitebetreiber können GPTBot separat blockieren.

Eine Website kann OAI-SearchBot zulassen und gleichzeitig GPTBot blockieren.

So lässt sich ChatGPT Search grundsätzlich ermöglichen, ohne GPTBot für potenzielles Training zuzulassen. Ob du Training erlaubst oder nicht, ist deine Entscheidung – es gibt hier kein Richtig oder Falsch.

ChatGPT-User

ChatGPT-User wird laut OpenAI für bestimmte nutzerinitiierte Aktionen verwendet – etwa wenn eine Person ChatGPT bittet, eine bestimmte Seite aufzurufen. ChatGPT-User ist kein automatischer Search-Crawler und entscheidet nicht darüber, ob Inhalte in ChatGPT Search aufgenommen werden. OpenAI weist darauf hin, dass robots.txt bei solchen Abrufen möglicherweise nicht in gleicher Weise gilt.

OpenAI: Search, Training und Nutzerabruf trennen

  • Zweck: ChatGPT Search

    OAI-SearchBot

    automatischer Search-Crawler

  • Zweck: mögliches Modelltraining

    GPTBot

    separat steuerbar

  • Zweck: nutzerinitiierter Abruf

    ChatGPT-User

    kein automatischer Search-Crawler

Die Einstellungen sind nicht gleichbedeutend.

Google: generative Suche und Training getrennt betrachten

Seit 31. August 2026 stellt Google Websiteinhabern weltweit eine eigene Einstellung in der Search Console zur Verfügung: „Freigabe von Inhalten für generative KI in der Google Suche“. Damit legst du fest, ob Inhalte deiner Property in bestimmten generativen Funktionen der Google Suche berücksichtigt werden dürfen – aktuell unter anderem in Übersichten mit KI, im KI-Modus und in generativen KI-Funktionen in Google Discover.

Ist die Freigabe aktiv (Standard), können Inhalte dort unter anderem als Links erscheinen, zur Fundierung von KI-Antworten beitragen sowie Impressionen und Zugriffe erzeugen. Wird sie ausgeschaltet, werden Inhalte dieser Property aus diesen generativen Search-Funktionen ausgeschlossen.

Quelle: Google Search Console-Hilfe – Freigabe von Inhalten für generative KI in der Google Suche managen

Was ist Google-Extended?

Google-Extended ist ein eigener robots.txt-Token. Damit beeinflusst du laut Google, ob gecrawlte Inhalte unter anderem verwendet werden dürfen für das Training zukünftiger Gemini-Modelle, bestimmte Grounding-Anwendungen in Gemini Apps und bestimmte Grounding-with-Google-Search-Anwendungen über Vertex AI.

Google sagt ausdrücklich: Google-Extended beeinflusst nicht die Aufnahme einer Website in Google Search und nicht das Ranking dort.

User-agent: Google-Extended
Disallow: /
Beispiel – nicht blind kopieren.

Bedeutung: Die entsprechende Nutzung durch Google-Extended wird eingeschränkt. Die Website kann aber weiterhin in Google Search erscheinen – und die Teilnahme an generativen Google-Search-Funktionen wird über die separate Search-Console-Einstellung gesteuert.

Quelle: Google Crawling Infrastructure – Google Common Crawlers – Google-Extended

Google: Drei Dinge nicht verwechseln

  • Google Search

    Klassische Suche

    Crawling und Indexierung über Googlebot

  • Generative Google Search

    Übersichten mit KI · KI-Modus · generative Discover-Funktionen

    Steuerung in der Search Console

  • Google-Extended

    Gemini-Training

    und bestimmte Gemini-/Vertex-Grounding-Nutzung

Search, generative Search und Modellnutzung haben unterschiedliche Kontrollen.

Was ist Google-Agent?

Google hat 2026 zusätzlich Google-Agent dokumentiert: einen User-Agent für Google-Agenten, die im Auftrag einer Nutzerin oder eines Nutzers im Web navigieren und Aktionen ausführen. Das ist nicht dasselbe wie Googlebot für die Suchindexierung oder die Search-Console-Einstellung für generative Search. Dieser Bereich entwickelt sich weiter.

Quelle: Google Crawling Infrastructure – Google User-Triggered Fetchers – Google-Agent

Microsoft Bing und Copilot

Bei Microsoft hängen klassische Suchindexierung und generative Erlebnisse eng zusammen. Für Inhalte, die in Bing, Copilot oder Grounding-Ergebnissen berücksichtigt werden sollen, ist eine saubere Bing-Zugänglichkeit wichtig. Bing empfiehlt unter anderem, Bingbot wichtige Inhalte crawlen zu lassen, diese zuverlässig renderbar zu machen und unnötige technische Blockaden zu vermeiden.

noindex bei Bing

Bing dokumentiert: noindex soll verwendet werden, wenn eine URL nicht in Bing Search, Copilot-Erlebnissen oder Grounding-API-Ergebnissen erscheinen soll.

nosnippet, data-nosnippet, nocache und noarchive

  • nosnippet / data-nosnippet können beeinflussen, welcher Text angezeigt oder zitiert werden darf.
  • noarchive kann verhindern, dass Inhalte für Copilot-Antworten bzw. Grounding verwendet werden.
  • nocache kann die Nutzung auf URL, Titel und Snippet begrenzen und dadurch die Tiefe möglicher Citations reduzieren.

Das sind Bing-spezifisch dokumentierte Regeln – nicht auf ChatGPT, Google oder Perplexity übertragen.

Quelle: Bing Webmaster Tools – Bing Webmaster Guidelines

PerplexityBot

Perplexity betreibt einen eigenen Suchcrawler: PerplexityBot. Perplexity beschreibt ihn als Teil seiner Search-Infrastruktur, erklärt, dass er robots.txt-Regeln berücksichtigt, und nutzt einen eigenen, regelmäßig aktualisierten Suchindex.

Für dich bedeutet das: Wer PerplexityBot vollständig blockiert, sollte nicht davon ausgehen, dass die Website über diesen automatischen Crawling-Weg weiterhin für Perplexitys Suche verfügbar bleibt. Eine Freigabe bedeutet umgekehrt keine Citation-Garantie.

Quelle: Perplexity – Perplexity Crawlers

robots.txt erlaubt den Bot – trotzdem kommt er nicht durch

robots.txt ist nur eine Zugangsebene. Zusätzlich können Anfragen blockiert werden durch Webserver, Hosting, Firewall, CDN, Bot-Schutz, Sicherheitsplugins, Rate Limits oder IP-Blocklisten.

Beispiel: Die robots.txt sagt „OAI-SearchBot darf zugreifen“, aber eine Firewall-Regel blockiert die OpenAI-IP-Adresse. Dann kann der Bot technisch trotzdem scheitern. OpenAI weist deshalb ausdrücklich darauf hin, auch den Zugriff aus den veröffentlichten SearchBot-IP-Bereichen zuzulassen.

Zwei Türen müssen offen sein

Tür 1 · robots.txt

„Darf der Bot crawlen?“

Tür 2 · Server / CDN / Firewall

„Kommt der Bot technisch durch?“

Inhalt abrufbar

Eine Freigabe in robots.txt allein reicht nicht immer.

JavaScript und sichtbare Hauptinhalte

Eine moderne Website kann Inhalte mit JavaScript laden. Das ist nicht automatisch ein Problem. Wichtige Inhalte sollten für relevante Suchcrawler aber zuverlässig erreichbar, renderbar und verständlich sein. Bing empfiehlt ausdrücklich, wichtige Inhalte nicht so zu verstecken, dass Bingbot sie nicht zuverlässig rendern kann. Google kann JavaScript seit Langem rendern.

Bei Problemen hilft Technisches SEO einfach erklärt weiter.

Brauchst du llms.txt?

Nicht als allgemeine Voraussetzung. Google sagt ausdrücklich, dass llms.txt für Google Search nicht erforderlich ist und dort weder klassische noch generative Sichtbarkeit positiv oder negativ beeinflusst. Andere Dienste können die Datei für bestimmte Zwecke verwenden.

llms.txt ist kein Ersatz für echte Crawl-Zugänglichkeit, robots.txt, Indexierung, gute Inhalte oder anbieterspezifische Einstellungen.

Welche Einstellung ist für dein Unternehmen sinnvoll?

Möchtest du in KI-Suchfunktionen sichtbar werden?

Wenn ja: Search-Crawler und entsprechende Search-Einstellungen nicht versehentlich blockieren.

Möchtest du Modelltraining erlauben?

Das ist eine separate Entscheidung. Sie kann von deiner Content-Strategie, Urheberrechtsüberlegungen, Unternehmenspolitik oder internen Vorgaben abhängen. Diese Seite gibt keine juristische Empfehlung.

Gibt es Inhalte, die überhaupt nicht öffentlich erscheinen sollen?

Solche Inhalte sollten nicht nur mit robots.txt geschützt werden. Für vertrauliche Informationen gehören echte Zugriffsrechte, Login, Authentifizierung und technische Schutzmaßnahmen. Keine Rechtsberatung.

Drei Entscheidungen statt einer

  • 1

    Suchsichtbarkeit

    Soll mein Inhalt gefunden werden können?

  • 2

    Training

    Soll mein Inhalt für Modelltraining genutzt werden dürfen?

  • 3

    Vertraulichkeit

    Soll dieser Inhalt überhaupt öffentlich zugänglich sein?

Diese drei Fragen brauchen unterschiedliche technische Lösungen.

Technische KI-Zugänglichkeit in 7 Schritten prüfen

Schritt 1 – wichtige Seiten bestimmen

Nicht jede URL einzeln analysieren. Zuerst festlegen, welche Inhalte grundsätzlich sichtbar sein sollen – etwa Startseite, Leistungsseiten, zentrale Ratgeber, wichtige Produktseiten und Unternehmensinformationen.

Schritt 2 – prüfen, ob die Seiten öffentlich erreichbar sind

Seiten, die öffentlich gefunden werden sollen, sollten ohne Login, Passwort oder technische Fehlermeldung erreichbar sein.

Schritt 3 – robots.txt prüfen

Werden wichtige Suchbots versehentlich blockiert? Besonders Googlebot, Bingbot, OAI-SearchBot und PerplexityBot. Nicht automatisch jede Bot-Regel verändern.

Schritt 4 – Search und Training getrennt entscheiden

Bei OpenAI: OAI-SearchBot vs. GPTBot. Bei Google: Search-Console-Steuerung für generative Suche vs. Google-Extended. Bewusst entscheiden.

Schritt 5 – noindex und andere Direktiven prüfen

Wichtige öffentliche Seiten sollten nicht versehentlich Einstellungen tragen, die ihre gewünschte Darstellung verhindern. Bei Bing zusätzlich noarchive, nocache und nosnippet prüfen, wenn generative Nutzung gewünscht ist.

Schritt 6 – Firewall, CDN und Hosting prüfen

Wenn ein Bot laut robots.txt zugelassen ist, aber trotzdem nicht zugreifen kann: Server- oder Sicherheitsregeln prüfen – bei Bedarf mit Webentwickler:in oder Hosting-Anbieter.

Schritt 7 – Anbieter-spezifische Einstellungen kontrollieren

Zum Beispiel die Search Console (Generative KI-Funktionen der Google Suche), Bing Webmaster Tools (Crawling/Indexierung) und – wenn technisch verfügbar – Server-Logs. Logfiles musst du als kleines Unternehmen nicht selbst analysieren.

KI-Zugänglichkeit in 7 Schritten prüfen
  1. 1

    Wichtige Seiten

  2. 2

    Öffentlich erreichbar

  3. 3

    robots.txt

  4. 4

    Search vs. Training

  5. 5

    noindex & Direktiven

  6. 6

    Server / CDN / Firewall

  7. 7

    Plattform-Einstellungen

Was kannst du selbst prüfen?

Auch ohne technische Ausbildung kannst du:

  • deine robots.txt im Browser öffnen
  • wichtige Seiten aufrufen und prüfen, ob sie öffentlich sichtbar sind
  • die Search Console kontrollieren – inklusive der Einstellung für generative Google-Suche
  • überprüfen, ob wichtige Seiten absichtlich oder versehentlich ausgeschlossen sind

Du musst nicht selbst IP-Bereiche konfigurieren, Firewall-Regeln programmieren, Server-Logs analysieren oder eine Bot-Verifikation aufsetzen. Wenn dafür Änderungen nötig sind, übergib sie an Hosting, Webentwickler:in oder technische Betreuung.

Wann solltest du technische Hilfe holen?

  • deine robots.txt enthält viele unterschiedliche Regeln
  • deine Website verwendet Cloudflare oder komplexen Bot-Schutz
  • OAI-SearchBot wird trotz Freigabe blockiert
  • wichtige Inhalte werden kompliziert per JavaScript geladen
  • deine Website nutzt mehrere Domains oder Subdomains
  • du bist unsicher bei noindex
  • du möchtest nur bestimmte Verzeichnisse zulassen oder verschiedene Bots unterschiedlich behandeln
  • nach Änderungen treten Indexierungsprobleme auf

Häufige Fehler

Alle KI-Bots pauschal blockieren

Dadurch kann unbeabsichtigt auch die gewünschte Suchsichtbarkeit eingeschränkt werden.

Search und Training gleichsetzen

GPTBot blockieren bedeutet nicht automatisch OAI-SearchBot blockieren.

robots.txt als Sicherheitsfunktion verwenden

Vertrauliche Inhalte gehören hinter echten Zugriffsschutz.

noindex und robots.txt gleichzeitig falsch einsetzen

Wenn der Crawler nicht zugreifen darf, kann er bestimmte Meta-Anweisungen möglicherweise nicht lesen.

Nur robots.txt prüfen

Firewall oder CDN können trotzdem blockieren.

Google-Extended mit Googles KI-Suche verwechseln

Seit 2026 besitzt Google für generative Search eine eigene Search-Console-Steuerung.

Änderungen ohne Dokumentation durchführen

Bei robots.txt und technischen Ausschlüssen immer festhalten: Was wurde verändert? Warum? Wann?

Freigabe als Sichtbarkeitsgarantie betrachten

Crawler-Zugriff bedeutet nur eine technische Möglichkeit – keine Citation-Garantie.

Häufige Fragen

Fazit

Damit deine Inhalte in KI-Suchsystemen grundsätzlich berücksichtigt werden können, müssen sie zunächst erreichbar sein. Aber „KI freigeben“ ist keine einzelne Einstellung mehr. Unterscheide mindestens zwischen Suchen, Trainieren und nutzergesteuertem Abruf.

Bei OpenAI zeigt sich das besonders deutlich: OAI-SearchBot, GPTBot und ChatGPT-User haben unterschiedliche Aufgaben. Auch Google trennt klassische Suche, generative Search-Funktionen und andere Gemini-/Training-Anwendungen.

Für kleine Unternehmen heißt das nicht, Bot-Spezialist:innen zu werden. Es bedeutet: bewusst entscheiden, was öffentlich auffindbar sein soll, ungewollte technische Blockaden vermeiden und Search-Sichtbarkeit nicht versehentlich gemeinsam mit ganz anderen KI-Nutzungsarten abschalten.

Technische Zugänglichkeit ist die Eingangstür. Welche Inhalte hinter dieser Tür für KI-Suche tatsächlich hilfreich und verständlich sind, ist der nächste Schritt.

Quellen & weiterführende Informationen