Referenzliste

Die KI-Crawler-Liste 2026: Alle 53 Agents

Diese Seite wird direkt aus der KI-Console-Erkennungs-Engine generiert. Sie trennt echte nutzerausgelöste Live-Abrufe von Training-Crawlern und KI-Suchcrawlern, damit Crawler-Nachweise nicht unterschiedliche Signale vermischen.

Training vs Live vs Suche

Der Token allein reicht nicht. Die Gruppe zeigt, was der Besuch wahrscheinlich bedeutet.

LA

Live-Abrufe

Ein Mensch bittet ein KI-System, eine Seite zu lesen oder zu prüfen, und der Abruf passiert in diesem Moment. Diese Besuche sind ein starkes Signal für konkrete Nachfrage.

TC

Training-Crawler

Training-Agents sammeln öffentliche Inhalte nach eigenem Zeitplan. Sie können künftiges Modellwissen unterstützen, beweisen aber nicht, dass heute ein Nutzer nach Ihnen gefragt hat.

KS

KI-Suchcrawler

Such- und Index-Crawler speisen Suchsysteme, die KI-Antworten unterstützen können. Klassische Crawlbarkeit bleibt Teil der KI-Sichtbarkeit.

Live-Abrufe

Live-Abrufe zuerst 14 Tokens

Diese Agents erscheinen meist, wenn ein KI-Produkt eine Seite für eine konkrete Nutzeraktion, Antwort oder Recherche abruft.

User-Agent-Token	Bekannter Kontext
`ChatGPT-User`	OpenAI-Live-Abruf, wenn ein ChatGPT-Nutzer Seitenzugriff anfordert. Details
`OAI-SearchBot`	OpenAI-Suchcrawler für Retrieval und suchgestützte Antworten. Details
`Claude-User`	Anthropic-Live-Abruf, wenn Claude eine Seite für eine Nutzeraktion liest. Details
`Claude-SearchBot`	Anthropic-Suchcrawler für suchgestützte Claude-Resultate. Details
`Perplexity-User`	Perplexity-Live-Abruf eines Nutzers für Antwortgenerierung oder Seitenprüfung. Details
`Meta-ExternalFetcher`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`MistralAI-User`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`DuckAssistBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Google-CloudVertexBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Kimi-User`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Manus-User`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`NotebookLM`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`kagi-fetcher`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Gemini-Deep-Research`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details

Training

Training- und Modell-Crawler 29 Tokens

Diese Agents stehen für Modelltraining, Datensammlung oder breites KI-Indexing. Zeitplan und Abdeckung bestimmt der Anbieter.

User-Agent-Token	Bekannter Kontext
`GPTBot`	OpenAI-Training-Crawler für Entscheidungen zum Zugriff auf öffentliche Webinhalte. Details
`ClaudeBot`	Anthropic-Training-Crawler für Claude-bezogene Modell-Datenzugriffe. Details
`anthropic-ai`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Claude-Web`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Google-Extended`	Google-Steuertoken für Gemini- und Vertex-AI-Nutzung, nicht der klassische Googlebot. Details
`Applebot-Extended`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`meta-externalagent`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Amazonbot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Bytespider`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`CCBot`	Common-Crawl-Crawler; Datensätze aus diesem Umfeld werden breit in KI-Trainingspipelines genutzt. Details
`PerplexityBot`	Perplexity-Crawler für Index- und Antwortsystem-Entdeckung. Details
`cohere-training-data-crawler`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`cohere-ai`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`AI2Bot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Diffbot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`ImagesiftBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Webzio-Extended`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`DeepSeekBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`TongyiBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`YiyanBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`ChatGLM-Spider`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`bedrockbot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`PhindBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Bravebot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`omgili`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`PanguBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Timpibot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`YouBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`PetalBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details

KI-Suche

KI-Suche und Index-Crawler 10 Tokens

Diese Crawler bauen oder aktualisieren Suchindexe, die KI-Antworten, Assistenten-Suche oder Retrieval-Schichten unterstützen können.

User-Agent-Token	Bekannter Kontext
`Googlebot`	Google-Suchcrawler; weiter relevant, weil KI-Antworten oft auf Suchindexen basieren. Details
`GoogleOther`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Bingbot`	Microsoft-Bing-Crawler; relevant für Copilot und suchgestütztes Retrieval. Details
`DuckDuckBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`ExaBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`TavilyBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`LinkupBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`YandexAdditional`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`iAskBot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details
`Applebot`	Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. Details

robots.txt-Starter zum Kopieren

Nutzen Sie dies als konservativen Startpunkt für die zehn Core-Agents, die KI-Console normalerweise zuerst prüft. Passen Sie Pfade an, wenn private Bereiche, Checkouts oder App-Endpunkte geschlossen bleiben müssen.

Kuratierte Core-Agent-Gruppe

User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Ehrliche Hinweise

Die Liste ändert sich laufend, weil Anbieter Agents umbenennen, ergänzen und entfernen.
Für Grok und xAI gibt es in dieser Engine aktuell keinen dokumentierten Crawler-Token, deshalb erfinden wir keinen.
Diese Seite wird direkt aus unserer Erkennungs-Engine generiert.

Klare Antworten

Was skeptische Website-Betreiber zuerst wissen wollen

KI-Console verkauft keine magische Sichtbarkeit. Wir machen Ihre Website für KI-Systeme lesbarer und zeigen Nachweise, wo Logs sie hergeben.

Warum sind GPTBot und ChatGPT-User getrennt?

GPTBot steht für Training und Datensammlung. ChatGPT-User ist ein Live-Abruf, wenn eine Nutzeraktion ChatGPT bittet, eine Seite zu lesen. Beide beweisen unterschiedliche Dinge.

Soll ich alle Crawler auf der Liste erlauben?

Nein. Nutzen Sie die Liste für eine bewusste Policy. Viele öffentliche Websites erlauben die wichtigen Live- und Such-Agents, während sensible oder wertarme Bereiche blockiert bleiben.

Woher kommt die Zahl :count?

Die Seite zählt die aktuellen KNOWN_CRAWLER_BOT_GROUPS-Einträge in KI-Console. Wenn sich die Engine ändert, ändert sich diese Seite mit.

Eigene Website prüfen

Sehen Sie, welche KI-Signale jetzt funktionieren

Starten Sie zuerst den Gratis-Scan. Mit einem Konto verifizieren Sie die Domain, speichern Verlauf, generieren Dateien und dokumentieren Crawler-Besuche.

Gratis-Scan starten Kostenlos registrieren