Richieste live
Una persona chiede a un sistema IA di leggere o verificare una pagina, e la richiesta avviene in quel momento. Queste visite sono un segnale forte di domanda concreta.
Lista di riferimento
La lista crawler IA 2026: tutti i 53 agent
Questa pagina è generata direttamente dal motore di rilevamento di KI-Console. Separa le richieste live attivate dagli utenti dai crawler di addestramento e dai crawler di ricerca IA, così le prove non mescolano segnali diversi.
Addestramento vs live vs ricerca
Il token da solo non basta. Il gruppo indica cosa probabilmente significa la visita.
Crawler di addestramento
Gli agent di addestramento raccolgono contenuti pubblici secondo il proprio calendario. Possono sostenere conoscenza futura del modello, ma non provano che oggi un utente abbia chiesto di te.
Crawler di ricerca IA
I crawler di ricerca e indice alimentano sistemi di ricerca che possono supportare risposte IA. La crawlability classica resta parte della visibilità IA.
Richieste live
Prima le richieste live 14 token
Questi agent appaiono di solito quando un prodotto IA recupera una pagina per un'azione utente, una risposta o una ricerca concreta.
| Token user-agent | Contesto noto |
|---|---|
ChatGPT-User |
Richiesta live OpenAI quando un utente ChatGPT chiede accesso a una pagina. |
OAI-SearchBot |
Crawler di ricerca OpenAI per retrieval e risposte basate su ricerca. |
Claude-User |
Richiesta live Anthropic quando Claude legge una pagina per un'azione utente. |
Claude-SearchBot |
Crawler di ricerca Anthropic per risultati Claude basati su ricerca. |
Perplexity-User |
Richiesta live Perplexity per generazione risposta o verifica pagina. |
Meta-ExternalFetcher |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
MistralAI-User |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
DuckAssistBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Google-CloudVertexBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Kimi-User |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Manus-User |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
NotebookLM |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
kagi-fetcher |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Gemini-Deep-Research |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Addestramento
Crawler di addestramento e modello 29 token
Questi agent sono legati ad addestramento, raccolta dati o ampia indicizzazione IA. Calendario e copertura sono decisi dal provider.
| Token user-agent | Contesto noto |
|---|---|
GPTBot |
Crawler di addestramento OpenAI per decisioni di accesso al contenuto web pubblico. |
ClaudeBot |
Crawler di addestramento Anthropic per accesso a dati legati a Claude. |
anthropic-ai |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Claude-Web |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Google-Extended |
Token di controllo Google per uso Gemini e Vertex AI, diverso dal Googlebot classico. |
Applebot-Extended |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
meta-externalagent |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Amazonbot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Bytespider |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
CCBot |
Crawler Common Crawl; i dataset di questo ecosistema sono usati ampiamente nelle pipeline di addestramento IA. |
PerplexityBot |
Crawler Perplexity per scoperta di indici e sistemi di risposta. |
cohere-training-data-crawler |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
cohere-ai |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
AI2Bot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Diffbot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
ImagesiftBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Webzio-Extended |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
DeepSeekBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
TongyiBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
YiyanBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
ChatGLM-Spider |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
bedrockbot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
PhindBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Bravebot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
omgili |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
PanguBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Timpibot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
YouBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
PetalBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Ricerca IA
Ricerca IA e crawler di indice 10 token
Questi crawler creano o aggiornano indici di ricerca che possono supportare risposte IA, ricerca assistente o livelli di retrieval.
| Token user-agent | Contesto noto |
|---|---|
Googlebot |
Crawler Google Search; ancora rilevante perché le risposte IA spesso dipendono da indici di ricerca. |
GoogleOther |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Bingbot |
Crawler Microsoft Bing; rilevante per Copilot e retrieval basato su ricerca. |
DuckDuckBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
ExaBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
TavilyBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
LinkupBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
YandexAdditional |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
iAskBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Applebot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. |
Starter robots.txt da copiare
Usalo come partenza prudente per i dieci agent centrali che KI-Console controlla di solito per primi. Adatta i percorsi se aree private, checkout o endpoint applicativi devono restare chiusi.
Gruppo core-agent curato
User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlNote oneste
- La lista cambia continuamente perché i provider rinominano, aggiungono e ritirano agent.
- Grok e xAI non hanno attualmente un token crawler documentato in questo motore, quindi non ne inventiamo uno.
- Questa pagina è generata direttamente dal nostro motore di rilevamento.
Risposte dirette
Cosa chiedono prima i proprietari di siti scettici
KI-Console non vende visibilità magica. Rendiamo il tuo sito più leggibile per i sistemi IA e mostriamo prove quando i log lo consentono.
Perché GPTBot e ChatGPT-User sono separati?
GPTBot è legato ad addestramento e raccolta dati. ChatGPT-User è una richiesta live quando un'azione utente chiede a ChatGPT di leggere una pagina. Provano cose diverse.
Devo consentire tutti i crawler della lista?
No. Usa la lista per una policy intenzionale. Molti siti pubblici consentono gli agent live e ricerca importanti, mentre aree sensibili o poco utili restano bloccate.
Da dove arriva il numero :count?
La pagina conta le voci attuali di KNOWN_CRAWLER_BOT_GROUPS in KI-Console. Quando cambia il motore, cambia anche questa pagina.
Verifica il tuo sito
Scopri quali segnali IA funzionano adesso
Inizia con la scansione gratuita. Con un account verifichi il dominio, conservi lo storico, generi file e documenti nel tempo le visite dei crawler.