Live-Abrufe
Ein Mensch bittet ein KI-System, eine Seite zu lesen oder zu prüfen, und der Abruf passiert in diesem Moment. Diese Besuche sind ein starkes Signal für konkrete Nachfrage.
Referenzliste
Die KI-Crawler-Liste 2026: Alle 53 Agents
Diese Seite wird direkt aus der KI-Console-Erkennungs-Engine generiert. Sie trennt echte nutzerausgelöste Live-Abrufe von Training-Crawlern und KI-Suchcrawlern, damit Crawler-Nachweise nicht unterschiedliche Signale vermischen.
Training vs Live vs Suche
Der Token allein reicht nicht. Die Gruppe zeigt, was der Besuch wahrscheinlich bedeutet.
Training-Crawler
Training-Agents sammeln öffentliche Inhalte nach eigenem Zeitplan. Sie können künftiges Modellwissen unterstützen, beweisen aber nicht, dass heute ein Nutzer nach Ihnen gefragt hat.
KI-Suchcrawler
Such- und Index-Crawler speisen Suchsysteme, die KI-Antworten unterstützen können. Klassische Crawlbarkeit bleibt Teil der KI-Sichtbarkeit.
Live-Abrufe
Live-Abrufe zuerst 14 Tokens
Diese Agents erscheinen meist, wenn ein KI-Produkt eine Seite für eine konkrete Nutzeraktion, Antwort oder Recherche abruft.
| User-Agent-Token | Bekannter Kontext |
|---|---|
ChatGPT-User |
OpenAI-Live-Abruf, wenn ein ChatGPT-Nutzer Seitenzugriff anfordert. |
OAI-SearchBot |
OpenAI-Suchcrawler für Retrieval und suchgestützte Antworten. |
Claude-User |
Anthropic-Live-Abruf, wenn Claude eine Seite für eine Nutzeraktion liest. |
Claude-SearchBot |
Anthropic-Suchcrawler für suchgestützte Claude-Resultate. |
Perplexity-User |
Perplexity-Live-Abruf eines Nutzers für Antwortgenerierung oder Seitenprüfung. |
Meta-ExternalFetcher |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
MistralAI-User |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
DuckAssistBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Google-CloudVertexBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Kimi-User |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Manus-User |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
NotebookLM |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
kagi-fetcher |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Gemini-Deep-Research |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Training
Training- und Modell-Crawler 29 Tokens
Diese Agents stehen für Modelltraining, Datensammlung oder breites KI-Indexing. Zeitplan und Abdeckung bestimmt der Anbieter.
| User-Agent-Token | Bekannter Kontext |
|---|---|
GPTBot |
OpenAI-Training-Crawler für Entscheidungen zum Zugriff auf öffentliche Webinhalte. |
ClaudeBot |
Anthropic-Training-Crawler für Claude-bezogene Modell-Datenzugriffe. |
anthropic-ai |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Claude-Web |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Google-Extended |
Google-Steuertoken für Gemini- und Vertex-AI-Nutzung, nicht der klassische Googlebot. |
Applebot-Extended |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
meta-externalagent |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Amazonbot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Bytespider |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
CCBot |
Common-Crawl-Crawler; Datensätze aus diesem Umfeld werden breit in KI-Trainingspipelines genutzt. |
PerplexityBot |
Perplexity-Crawler für Index- und Antwortsystem-Entdeckung. |
cohere-training-data-crawler |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
cohere-ai |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
AI2Bot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Diffbot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
ImagesiftBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Webzio-Extended |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
DeepSeekBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
TongyiBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
YiyanBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
ChatGLM-Spider |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
bedrockbot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
PhindBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Bravebot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
omgili |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
PanguBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Timpibot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
YouBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
PetalBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
KI-Suche
KI-Suche und Index-Crawler 10 Tokens
Diese Crawler bauen oder aktualisieren Suchindexe, die KI-Antworten, Assistenten-Suche oder Retrieval-Schichten unterstützen können.
| User-Agent-Token | Bekannter Kontext |
|---|---|
Googlebot |
Google-Suchcrawler; weiter relevant, weil KI-Antworten oft auf Suchindexen basieren. |
GoogleOther |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Bingbot |
Microsoft-Bing-Crawler; relevant für Copilot und suchgestütztes Retrieval. |
DuckDuckBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
ExaBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
TavilyBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
LinkupBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
YandexAdditional |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
iAskBot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
Applebot |
Bekannter Agent in dieser Gruppe; bewerten Sie ihn über die Gruppenbedeutung und Ihren Log-Kontext. |
robots.txt-Starter zum Kopieren
Nutzen Sie dies als konservativen Startpunkt für die zehn Core-Agents, die KI-Console normalerweise zuerst prüft. Passen Sie Pfade an, wenn private Bereiche, Checkouts oder App-Endpunkte geschlossen bleiben müssen.
Kuratierte Core-Agent-Gruppe
User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlEhrliche Hinweise
- Die Liste ändert sich laufend, weil Anbieter Agents umbenennen, ergänzen und entfernen.
- Für Grok und xAI gibt es in dieser Engine aktuell keinen dokumentierten Crawler-Token, deshalb erfinden wir keinen.
- Diese Seite wird direkt aus unserer Erkennungs-Engine generiert.
Klare Antworten
Was skeptische Website-Betreiber zuerst wissen wollen
KI-Console verkauft keine magische Sichtbarkeit. Wir machen Ihre Website für KI-Systeme lesbarer und zeigen Nachweise, wo Logs sie hergeben.
Warum sind GPTBot und ChatGPT-User getrennt?
GPTBot steht für Training und Datensammlung. ChatGPT-User ist ein Live-Abruf, wenn eine Nutzeraktion ChatGPT bittet, eine Seite zu lesen. Beide beweisen unterschiedliche Dinge.
Soll ich alle Crawler auf der Liste erlauben?
Nein. Nutzen Sie die Liste für eine bewusste Policy. Viele öffentliche Websites erlauben die wichtigen Live- und Such-Agents, während sensible oder wertarme Bereiche blockiert bleiben.
Woher kommt die Zahl :count?
Die Seite zählt die aktuellen KNOWN_CRAWLER_BOT_GROUPS-Einträge in KI-Console. Wenn sich die Engine ändert, ändert sich diese Seite mit.
Eigene Website prüfen
Sehen Sie, welche KI-Signale jetzt funktionieren
Starten Sie zuerst den Gratis-Scan. Mit einem Konto verifizieren Sie die Domain, speichern Verlauf, generieren Dateien und dokumentieren Crawler-Besuche.