Referenzliste

Die KI-Crawler-Liste 2026: Alle 59 Agents

Diese Liste umfasst 59 KI- und Such-Crawler nach Herstellerangaben (Stand: 08.10.2026), getrennt in drei Gruppen: Live-Abrufe, Training-Crawler und KI-Suche. Sie wird direkt aus der KI-Console-Erkennungs-Engine erzeugt. Nutzerausgelöste Agents wie ChatGPT-User, Perplexity-User, Amzn-User und Google-Agent beachten robots.txt nicht immer.

Training vs Live vs Suche

Der Token allein reicht nicht. Die Gruppe zeigt, was der Besuch wahrscheinlich bedeutet.

LA

Live-Abrufe

Ein Mensch bittet ein KI-System, eine Seite zu lesen oder zu prüfen, und der Abruf passiert in diesem Moment. Diese Besuche sind ein starkes Signal für konkrete Nachfrage.

TC

Training-Crawler

Training-Agents sammeln öffentliche Inhalte nach eigenem Zeitplan. Sie können künftiges Modellwissen unterstützen, beweisen aber nicht, dass heute ein Nutzer nach Ihnen gefragt hat.

KS

KI-Suchcrawler

Such- und Index-Crawler speisen Suchsysteme, die KI-Antworten unterstützen können. Klassische Crawlbarkeit bleibt Teil der KI-Sichtbarkeit.

Live-Abrufe

Live-Abrufe zuerst 18 Tokens

Diese Agents erscheinen meist, wenn ein KI-Produkt eine Seite für eine konkrete Nutzeraktion, Antwort oder Recherche abruft.

User-Agent-Token	Bekannter Kontext
`ChatGPT-User`	OpenAI-Live-Abruf, wenn ein ChatGPT-Nutzer Seitenzugriff anfordert; robots.txt gilt laut OpenAI möglicherweise nicht. Details
`OAI-SearchBot`	OpenAI-Suchcrawler für Retrieval und suchgestützte Antworten. Details
`OAI-AdsBot`	OpenAI prüft Landingpages, die als Anzeigen in ChatGPT eingereicht wurden; kein Training, robots.txt-Verhalten nicht dokumentiert. Details
`Claude-User`	Anthropic-Live-Abruf, wenn Claude eine Seite für eine Nutzeraktion liest. Details
`Claude-SearchBot`	Anthropic-Suchcrawler für suchgestützte Claude-Resultate. Details
`Perplexity-User`	Perplexity-Live-Abruf eines Nutzers für Antwortgenerierung; ignoriert robots.txt laut Perplexity in der Regel. Details
`Meta-ExternalFetcher`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`MistralAI-User`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`DuckAssistBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Google-CloudVertexBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Kimi-User`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Manus-User`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`NotebookLM`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Google-GeminiNotebook`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Google-Agent`	Agenten auf Google-Infrastruktur surfen im Auftrag eines Nutzers; Google zählt ihn zu den nutzerausgelösten Abrufen, die robots.txt meist ignorieren. Details
`Amzn-User`	Amazon-Live-Abruf für Nutzeranfragen, etwa an Alexa; beachtet laut Amazon nicht alle robots.txt-Regeln. Details
`kagi-fetcher`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Gemini-Deep-Research`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details

Training

Training- und Modell-Crawler 28 Tokens

Diese Agents stehen für Modelltraining, Datensammlung oder breites KI-Indexing. Zeitplan und Abdeckung bestimmt der Anbieter.

User-Agent-Token	Bekannter Kontext
`GPTBot`	OpenAI-Training-Crawler für Entscheidungen zum Zugriff auf öffentliche Webinhalte. Details
`ClaudeBot`	Anthropic-Training-Crawler für Claude-bezogene Modell-Datenzugriffe. Details
`anthropic-ai`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Claude-Web`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Google-Extended`	Google-Steuertoken für Gemini- und Vertex-AI-Nutzung, nicht der klassische Googlebot. Details
`Applebot-Extended`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`meta-externalagent`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Amazonbot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Bytespider`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`CCBot`	Common-Crawl-Crawler; Datensätze aus diesem Umfeld werden breit in KI-Trainingspipelines genutzt. Details
`cohere-training-data-crawler`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`cohere-ai`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`AI2Bot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Diffbot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`ImagesiftBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Webzio-Extended`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`DeepSeekBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`TongyiBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`YiyanBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`ChatGLM-Spider`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`bedrockbot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`PhindBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Bravebot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`omgili`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`PanguBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Timpibot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`YouBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`PetalBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details

KI-Suche

KI-Suche und Index-Crawler 13 Tokens

Diese Crawler bauen oder aktualisieren Suchindexe, die KI-Antworten, Assistenten-Suche oder Retrieval-Schichten unterstützen können.

User-Agent-Token	Bekannter Kontext
`PerplexityBot`	Perplexity-Suchcrawler: zeigt und verlinkt Websites in Perplexity-Ergebnissen, laut Perplexity nicht für das Training von KI-Modellen. Details
`Amzn-SearchBot`	Amazon-Suchcrawler (etwa für Alexa), kein Training generativer KI; beachtet robots.txt. Details
`meta-webindexer`	Meta-Suchcrawler zur Verbesserung der Suchergebnisse von Meta AI; eine Disallow-Regel sperrt ihn. Details
`Googlebot`	Google-Suchcrawler; weiter relevant, weil KI-Antworten oft auf Suchindexen basieren. Details
`GoogleOther`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Bingbot`	Microsoft-Bing-Crawler; relevant für Copilot und suchgestütztes Retrieval. Details
`DuckDuckBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`ExaBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`TavilyBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`LinkupBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`YandexAdditional`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`iAskBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Applebot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details

robots.txt-Starter zum Kopieren

Nutzen Sie dies als konservativen Startpunkt für die zehn Core-Agents, die KI-Console normalerweise zuerst prüft. Passen Sie Pfade an, wenn private Bereiche, Checkouts oder App-Endpunkte geschlossen bleiben müssen.

Kuratierte Core-Agent-Gruppe

User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Ehrliche Hinweise

Nutzerausgelöste Abrufe (ChatGPT-User, Perplexity-User, Amzn-User, Google-Agent) beachten robots.txt nicht immer. Wer sie hart sperren will, braucht Server- oder Firewall-Regeln. Claude-User beachtet robots.txt laut Anthropic.
Die Liste ändert sich laufend, weil Anbieter Agents umbenennen, ergänzen und entfernen.
Für Grok und xAI gibt es in dieser Engine aktuell keinen dokumentierten Crawler-Token, deshalb erfinden wir keinen.
Diese Seite wird direkt aus unserer Erkennungs-Engine generiert.
Stand der Herstellerangaben: 08.10.2026 (OpenAI, Anthropic, Google, Perplexity, Amazon, Meta). Namen und Verhalten ändern sich; prüfen Sie bei wichtigen Entscheiden die Herstellerseite.

Klare Antworten

Was skeptische Website-Betreiber zuerst wissen wollen

KI-Console verkauft keine magische Sichtbarkeit. Wir machen Ihre Website für KI-Systeme lesbarer und zeigen Nachweise, wo Tracker oder Logs sie hergeben.

Warum sind GPTBot und ChatGPT-User getrennt?

GPTBot steht für Training und Datensammlung. ChatGPT-User ist ein Live-Abruf, wenn eine Nutzeraktion ChatGPT bittet, eine Seite zu lesen. Beide beweisen unterschiedliche Dinge.

Soll ich alle Crawler auf der Liste erlauben?

Nein. Nutzen Sie die Liste für eine bewusste Policy. Viele öffentliche Websites erlauben die wichtigen Live- und Such-Agents, während sensible oder wertarme Bereiche blockiert bleiben.

Woher kommt die Zahl :count?

Die Seite zählt die aktuellen KNOWN_CRAWLER_BOT_GROUPS-Einträge in KI-Console. Wenn sich die Engine ändert, ändert sich diese Seite mit.

Beachten alle KI-Crawler die robots.txt?

Nein. Training- und Such-Crawler wie GPTBot, ClaudeBot, PerplexityBot oder Amzn-SearchBot beachten sie laut Hersteller. Nutzerausgelöste Abrufe wie ChatGPT-User, Perplexity-User, Amzn-User und Google-Agent tun das nicht immer oder gar nicht, weil ein Mensch sie auslöst. Claude-User beachtet robots.txt laut Anthropic.

Ist PerplexityBot ein Trainings-Crawler?

Nein. PerplexityBot dient laut Perplexity dazu, Websites in den Suchergebnissen zu zeigen und zu verlinken, und wird nicht zum Sammeln von Inhalten für KI-Basismodelle genutzt. Darum steht er in der Gruppe KI-Suche. Perplexity-User ist der getrennte Abruf, wenn jemand eine Frage stellt.

Eigene Website prüfen

Sehen Sie, welche KI-Signale jetzt funktionieren

Starten Sie zuerst den Gratis-Scan. Mit einem Konto verifizieren Sie die Domain, speichern Verlauf, generieren Dateien und dokumentieren Crawler-Besuche.

Gratis-Scan starten Kostenlos registrieren