Liste de référence

La liste des crawlers IA 2026 : les 59 agents

Cette liste couvre 59 crawlers IA et de recherche selon la documentation des éditeurs (état au 08.10.2026), répartis en trois groupes : appels live, crawlers d’entraînement et recherche IA. Elle est générée directement par le moteur de détection de KI-Console. Les agents déclenchés par l’utilisateur comme ChatGPT-User, Perplexity-User, Amzn-User et Google-Agent ne respectent pas toujours robots.txt.

Entraînement vs live vs recherche

Le token seul ne suffit pas. Le groupe indique ce que la visite signifie probablement.

LA

Appels live

Une personne demande à un système IA de lire ou vérifier une page, et l'appel se produit à cet instant. Ces visites sont un signal fort de demande concrète.

TC

Crawlers d'entraînement

Les agents d'entraînement collectent du contenu public selon leur propre calendrier. Ils peuvent soutenir la connaissance future des modèles, mais ne prouvent pas qu'un utilisateur a posé une question aujourd'hui.

KS

Crawlers de recherche IA

Les crawlers de recherche et d'index alimentent des systèmes de recherche qui peuvent soutenir des réponses IA. La crawlabilité classique reste une partie de la visibilité IA.

Appels live

Appels live en premier 18 tokens

Ces agents apparaissent généralement quand un produit IA récupère une page pour une action utilisateur, une réponse ou une recherche concrète.

Token user-agent	Contexte connu
`ChatGPT-User`	Appel live d’OpenAI quand un utilisateur de ChatGPT demande l’accès à une page ; selon OpenAI, robots.txt peut ne pas s’appliquer. Details
`OAI-SearchBot`	Crawler de recherche OpenAI pour le retrieval et les réponses appuyées par recherche. Details
`OAI-AdsBot`	OpenAI vérifie les pages de destination soumises comme annonces dans ChatGPT ; pas d’entraînement, comportement vis-à-vis de robots.txt non documenté. Details
`Claude-User`	Appel live Anthropic lorsque Claude lit une page pour une action utilisateur. Details
`Claude-SearchBot`	Crawler de recherche Anthropic pour les résultats Claude appuyés par recherche. Details
`Perplexity-User`	Appel live de Perplexity pour la question d’un utilisateur ; selon Perplexity, il ignore en général robots.txt. Details
`Meta-ExternalFetcher`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`MistralAI-User`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`DuckAssistBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Google-CloudVertexBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Kimi-User`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Manus-User`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`NotebookLM`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Google-GeminiNotebook`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Google-Agent`	Des agents sur l’infrastructure de Google naviguent pour le compte d’un utilisateur ; Google le range parmi les appels déclenchés par l’utilisateur, qui ignorent en général robots.txt. Details
`Amzn-User`	Appel live d’Amazon pour des demandes d’utilisateurs, par exemple Alexa ; selon Amazon, il peut ne pas suivre toutes les directives robots.txt. Details
`kagi-fetcher`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Gemini-Deep-Research`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details

Entraînement

Crawlers d'entraînement et de modèles 28 tokens

Ces agents sont liés à l'entraînement, à la collecte de données ou à l'indexation IA large. Le calendrier et la couverture dépendent du fournisseur.

Token user-agent	Contexte connu
`GPTBot`	Crawler d'entraînement OpenAI pour les décisions d'accès au contenu web public. Details
`ClaudeBot`	Crawler d'entraînement Anthropic pour l'accès aux données liées à Claude. Details
`anthropic-ai`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Claude-Web`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Google-Extended`	Token de contrôle Google pour Gemini et Vertex AI, distinct du Googlebot classique. Details
`Applebot-Extended`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`meta-externalagent`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Amazonbot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Bytespider`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`CCBot`	Crawler Common Crawl ; les jeux de données de cet écosystème sont largement utilisés dans les pipelines d'entraînement IA. Details
`cohere-training-data-crawler`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`cohere-ai`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`AI2Bot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Diffbot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`ImagesiftBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Webzio-Extended`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`DeepSeekBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`TongyiBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`YiyanBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`ChatGLM-Spider`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`bedrockbot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`PhindBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Bravebot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`omgili`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`PanguBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Timpibot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`YouBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`PetalBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details

Recherche IA

Recherche IA et crawlers d'index 13 tokens

Ces crawlers créent ou mettent à jour des index de recherche pouvant soutenir les réponses IA, la recherche d'assistant ou les couches de retrieval.

Token user-agent	Contexte connu
`PerplexityBot`	Crawler de recherche de Perplexity : affiche et relie des sites dans les résultats Perplexity ; selon Perplexity, pas utilisé pour entraîner des modèles d’IA. Details
`Amzn-SearchBot`	Crawler de recherche d’Amazon (par exemple pour Alexa), sans entraînement d’IA générative ; respecte robots.txt. Details
`meta-webindexer`	Crawler de recherche de Meta qui améliore les résultats de recherche de Meta AI ; une règle Disallow le bloque. Details
`Googlebot`	Crawler Google Search ; encore pertinent car les réponses IA reposent souvent sur des index de recherche. Details
`GoogleOther`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Bingbot`	Crawler Microsoft Bing ; pertinent pour Copilot et le retrieval appuyé par recherche. Details
`DuckDuckBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`ExaBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`TavilyBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`LinkupBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`YandexAdditional`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`iAskBot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details
`Applebot`	Agent connu dans ce groupe ; évaluez-le avec le sens du groupe et le contexte de vos logs. Details

Point de départ robots.txt à copier

Utilisez ceci comme point de départ prudent pour les dix agents centraux que KI-Console contrôle généralement en premier. Adaptez les chemins si des espaces privés, tunnels d'achat ou endpoints applicatifs doivent rester fermés.

Groupe central d'agents

User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Notes honnêtes

Les appels déclenchés par l’utilisateur (ChatGPT-User, Perplexity-User, Amzn-User, Google-Agent) ne respectent pas toujours robots.txt. Un blocage ferme exige des règles serveur ou pare-feu. Selon Anthropic, Claude-User respecte robots.txt.
La liste change constamment car les fournisseurs renomment, ajoutent et retirent des agents.
Grok et xAI n'ont actuellement aucun token crawler documenté dans ce moteur, nous n'en inventons donc pas.
Cette page est générée directement depuis notre moteur de détection.
Informations des éditeurs au 08.10.2026 (OpenAI, Anthropic, Google, Perplexity, Amazon, Meta). Les noms et comportements évoluent ; consultez la page de l’éditeur pour les décisions importantes.

Réponses directes

Ce que les propriétaires de sites sceptiques demandent d'abord

KI-Console ne vend pas de visibilité magique. Nous rendons votre site plus lisible pour les systèmes d’IA et montrons des preuves quand le tracker ou les logs les fournissent.

Pourquoi GPTBot et ChatGPT-User sont-ils séparés ?

GPTBot est lié à l'entraînement et à la collecte de données. ChatGPT-User est un appel live lorsqu'une action utilisateur demande à ChatGPT de lire une page. Ils prouvent des choses différentes.

Faut-il autoriser tous les crawlers de la liste ?

Non. Utilisez la liste pour définir une politique volontaire. Beaucoup de sites publics autorisent les principaux agents live et recherche, tout en bloquant les zones sensibles ou peu utiles.

D'où vient le nombre :count ?

La page compte les entrées actuelles de KNOWN_CRAWLER_BOT_GROUPS dans KI-Console. Quand le moteur change, cette page change avec lui.

Tous les crawlers IA respectent-ils robots.txt ?

Non. Selon leurs éditeurs, les crawlers d’entraînement et de recherche comme GPTBot, ClaudeBot, PerplexityBot ou Amzn-SearchBot le respectent. Les appels déclenchés par l’utilisateur comme ChatGPT-User, Perplexity-User, Amzn-User et Google-Agent ne le font pas toujours, voire pas du tout, car une personne les déclenche. Selon Anthropic, Claude-User respecte robots.txt.

PerplexityBot est-il un crawler d’entraînement ?

Non. Selon Perplexity, PerplexityBot sert à afficher et relier des sites dans les résultats de recherche et n’est pas utilisé pour collecter du contenu destiné aux modèles de fondation. C’est pourquoi il figure dans le groupe recherche IA. Perplexity-User est l’appel distinct quand quelqu’un pose une question.

Vérifier votre site

Voyez quels signaux IA fonctionnent maintenant

Commencez par le scan gratuit. Avec un compte, vous vérifiez le domaine, gardez l'historique, générez des fichiers et documentez les visites de crawlers.

Lancer le scan gratuit S'inscrire gratuitement