Appels live
Une personne demande à un système IA de lire ou vérifier une page, et l'appel se produit à cet instant. Ces visites sont un signal fort de demande concrète.
Liste de référence
La liste des crawlers IA 2026 : les 53 agents
Cette page est générée directement depuis le moteur de détection de KI-Console. Elle sépare les appels live déclenchés par des utilisateurs, les crawlers d'entraînement et les crawlers de recherche IA pour éviter de mélanger des signaux différents.
Entraînement vs live vs recherche
Le token seul ne suffit pas. Le groupe indique ce que la visite signifie probablement.
Crawlers d'entraînement
Les agents d'entraînement collectent du contenu public selon leur propre calendrier. Ils peuvent soutenir la connaissance future des modèles, mais ne prouvent pas qu'un utilisateur a posé une question aujourd'hui.
Crawlers de recherche IA
Les crawlers de recherche et d'index alimentent des systèmes de recherche qui peuvent soutenir des réponses IA. La crawlabilité classique reste une partie de la visibilité IA.
Appels live
Appels live en premier 14 tokens
Ces agents apparaissent généralement quand un produit IA récupère une page pour une action utilisateur, une réponse ou une recherche concrète.
| Token user-agent | Contexte connu |
|---|---|
ChatGPT-User |
Appel live OpenAI lorsqu'un utilisateur ChatGPT demande l'accès à une page. |
OAI-SearchBot |
Crawler de recherche OpenAI pour le retrieval et les réponses appuyées par recherche. |
Claude-User |
Appel live Anthropic lorsque Claude lit une page pour une action utilisateur. |
Claude-SearchBot |
Crawler de recherche Anthropic pour les résultats Claude appuyés par recherche. |
Perplexity-User |
Appel live Perplexity pour génération de réponse ou vérification de page. |
Meta-ExternalFetcher |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
MistralAI-User |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
DuckAssistBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Google-CloudVertexBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Kimi-User |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Manus-User |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
NotebookLM |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
kagi-fetcher |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Gemini-Deep-Research |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Entraînement
Crawlers d'entraînement et de modèles 29 tokens
Ces agents sont liés à l'entraînement, à la collecte de données ou à l'indexation IA large. Le calendrier et la couverture dépendent du fournisseur.
| Token user-agent | Contexte connu |
|---|---|
GPTBot |
Crawler d'entraînement OpenAI pour les décisions d'accès au contenu web public. |
ClaudeBot |
Crawler d'entraînement Anthropic pour l'accès aux données liées à Claude. |
anthropic-ai |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Claude-Web |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Google-Extended |
Token de contrôle Google pour Gemini et Vertex AI, distinct du Googlebot classique. |
Applebot-Extended |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
meta-externalagent |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Amazonbot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Bytespider |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
CCBot |
Crawler Common Crawl ; les jeux de données de cet écosystème sont largement utilisés dans les pipelines d'entraînement IA. |
PerplexityBot |
Crawler Perplexity pour la découverte d'index et de systèmes de réponse. |
cohere-training-data-crawler |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
cohere-ai |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
AI2Bot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Diffbot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
ImagesiftBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Webzio-Extended |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
DeepSeekBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
TongyiBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
YiyanBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
ChatGLM-Spider |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
bedrockbot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
PhindBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Bravebot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
omgili |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
PanguBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Timpibot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
YouBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
PetalBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Recherche IA
Recherche IA et crawlers d'index 10 tokens
Ces crawlers créent ou mettent à jour des index de recherche pouvant soutenir les réponses IA, la recherche d'assistant ou les couches de retrieval.
| Token user-agent | Contexte connu |
|---|---|
Googlebot |
Crawler Google Search ; encore pertinent car les réponses IA reposent souvent sur des index de recherche. |
GoogleOther |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Bingbot |
Crawler Microsoft Bing ; pertinent pour Copilot et le retrieval appuyé par recherche. |
DuckDuckBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
ExaBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
TavilyBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
LinkupBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
YandexAdditional |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
iAskBot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Applebot |
Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. |
Point de départ robots.txt à copier
Utilisez ceci comme point de départ prudent pour les dix agents centraux que KI-Console contrôle généralement en premier. Adaptez les chemins si des espaces privés, tunnels d'achat ou endpoints applicatifs doivent rester fermés.
Groupe central d'agents
User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlNotes honnêtes
- La liste change constamment car les fournisseurs renomment, ajoutent et retirent des agents.
- Grok et xAI n'ont actuellement aucun token crawler documenté dans ce moteur, nous n'en inventons donc pas.
- Cette page est générée directement depuis notre moteur de détection.
Réponses directes
Ce que les propriétaires de sites sceptiques demandent d'abord
KI-Console ne vend pas de visibilité magique. Nous rendons votre site plus lisible pour les systèmes d'IA et montrons des preuves quand les logs le permettent.
Pourquoi GPTBot et ChatGPT-User sont-ils séparés ?
GPTBot est lié à l'entraînement et à la collecte de données. ChatGPT-User est un appel live lorsqu'une action utilisateur demande à ChatGPT de lire une page. Ils prouvent des choses différentes.
Faut-il autoriser tous les crawlers de la liste ?
Non. Utilisez la liste pour définir une politique volontaire. Beaucoup de sites publics autorisent les principaux agents live et recherche, tout en bloquant les zones sensibles ou peu utiles.
D'où vient le nombre :count ?
La page compte les entrées actuelles de KNOWN_CRAWLER_BOT_GROUPS dans KI-Console. Quand le moteur change, cette page change avec lui.
Vérifier votre site
Voyez quels signaux IA fonctionnent maintenant
Commencez par le scan gratuit. Avec un compte, vous vérifiez le domaine, gardez l'historique, générez des fichiers et documentez les visites de crawlers.