Richieste live
Una persona chiede a un sistema IA di leggere o verificare una pagina, e la richiesta avviene in quel momento. Queste visite sono un segnale forte di domanda concreta.
Lista di riferimento
La lista crawler IA 2026: tutti i 59 agent
Questo elenco comprende 59 crawler IA e di ricerca secondo la documentazione dei produttori (stato al 08.10.2026), divisi in tre gruppi: richieste live, crawler di addestramento e ricerca IA. È generato direttamente dal motore di rilevamento di KI-Console. Gli agent attivati dall’utente come ChatGPT-User, Perplexity-User, Amzn-User e Google-Agent non rispettano sempre robots.txt.
Addestramento vs live vs ricerca
Il token da solo non basta. Il gruppo indica cosa probabilmente significa la visita.
Crawler di addestramento
Gli agent di addestramento raccolgono contenuti pubblici secondo il proprio calendario. Possono sostenere conoscenza futura del modello, ma non provano che oggi un utente abbia chiesto di te.
Crawler di ricerca IA
I crawler di ricerca e indice alimentano sistemi di ricerca che possono supportare risposte IA. La crawlability classica resta parte della visibilità IA.
Richieste live
Prima le richieste live 18 token
Questi agent appaiono di solito quando un prodotto IA recupera una pagina per un'azione utente, una risposta o una ricerca concreta.
| Token user-agent | Contesto noto |
|---|---|
ChatGPT-User |
Richiesta live di OpenAI quando un utente di ChatGPT chiede l’accesso a una pagina; secondo OpenAI robots.txt potrebbe non valere. Dettagli |
OAI-SearchBot |
Crawler di ricerca OpenAI per retrieval e risposte basate su ricerca. Dettagli |
OAI-AdsBot |
OpenAI controlla le pagine di destinazione inviate come annunci in ChatGPT; nessun addestramento, comportamento rispetto a robots.txt non documentato. Dettagli |
Claude-User |
Richiesta live Anthropic quando Claude legge una pagina per un'azione utente. Dettagli |
Claude-SearchBot |
Crawler di ricerca Anthropic per risultati Claude basati su ricerca. Dettagli |
Perplexity-User |
Richiesta live di Perplexity per la domanda di un utente; secondo Perplexity ignora in genere robots.txt. Dettagli |
Meta-ExternalFetcher |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
MistralAI-User |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
DuckAssistBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Google-CloudVertexBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Kimi-User |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Manus-User |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
NotebookLM |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Google-GeminiNotebook |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Google-Agent |
Agent su infrastruttura Google navigano per conto di un utente; Google lo include tra i fetcher attivati dall’utente, che in genere ignorano robots.txt. Dettagli |
Amzn-User |
Richiesta live di Amazon per richieste degli utenti, ad esempio ad Alexa; secondo Amazon può non seguire tutte le direttive robots.txt. Dettagli |
kagi-fetcher |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Gemini-Deep-Research |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Addestramento
Crawler di addestramento e modello 28 token
Questi agent sono legati ad addestramento, raccolta dati o ampia indicizzazione IA. Calendario e copertura sono decisi dal provider.
| Token user-agent | Contesto noto |
|---|---|
GPTBot |
Crawler di addestramento OpenAI per decisioni di accesso al contenuto web pubblico. Dettagli |
ClaudeBot |
Crawler di addestramento Anthropic per accesso a dati legati a Claude. Dettagli |
anthropic-ai |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Claude-Web |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Google-Extended |
Token di controllo Google per uso Gemini e Vertex AI, diverso dal Googlebot classico. Dettagli |
Applebot-Extended |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
meta-externalagent |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Amazonbot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Bytespider |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
CCBot |
Crawler Common Crawl; i dataset di questo ecosistema sono usati ampiamente nelle pipeline di addestramento IA. Dettagli |
cohere-training-data-crawler |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
cohere-ai |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
AI2Bot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Diffbot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
ImagesiftBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Webzio-Extended |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
DeepSeekBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
TongyiBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
YiyanBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
ChatGLM-Spider |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
bedrockbot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
PhindBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Bravebot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
omgili |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
PanguBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Timpibot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
YouBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
PetalBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Ricerca IA
Ricerca IA e crawler di indice 13 token
Questi crawler creano o aggiornano indici di ricerca che possono supportare risposte IA, ricerca assistente o livelli di retrieval.
| Token user-agent | Contesto noto |
|---|---|
PerplexityBot |
Crawler di ricerca di Perplexity: mostra e collega siti nei risultati di Perplexity; secondo Perplexity non è usato per addestrare modelli di IA. Dettagli |
Amzn-SearchBot |
Crawler di ricerca di Amazon (ad esempio per Alexa), senza addestramento di IA generativa; rispetta robots.txt. Dettagli |
meta-webindexer |
Crawler di ricerca di Meta che migliora i risultati di ricerca di Meta AI; una regola Disallow lo blocca. Dettagli |
Googlebot |
Crawler Google Search; ancora rilevante perché le risposte IA spesso dipendono da indici di ricerca. Dettagli |
GoogleOther |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Bingbot |
Crawler Microsoft Bing; rilevante per Copilot e retrieval basato su ricerca. Dettagli |
DuckDuckBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
ExaBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
TavilyBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
LinkupBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
YandexAdditional |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
iAskBot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Applebot |
Agent noto in questo gruppo; valutalo tramite il significato del gruppo e il contesto dei tuoi log. Dettagli |
Starter robots.txt da copiare
Usalo come partenza prudente per i dieci agent centrali che KI-Console controlla di solito per primi. Adatta i percorsi se aree private, checkout o endpoint applicativi devono restare chiusi.
Gruppo core-agent curato
User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlNote oneste
- Le richieste attivate dall’utente (ChatGPT-User, Perplexity-User, Amzn-User, Google-Agent) non rispettano sempre robots.txt. I blocchi rigidi richiedono regole server o firewall. Secondo Anthropic, Claude-User rispetta robots.txt.
- La lista cambia continuamente perché i provider rinominano, aggiungono e ritirano agent.
- Grok e xAI non hanno attualmente un token crawler documentato in questo motore, quindi non ne inventiamo uno.
- Questa pagina è generata direttamente dal nostro motore di rilevamento.
- Informazioni dei produttori al 08.10.2026 (OpenAI, Anthropic, Google, Perplexity, Amazon, Meta). Nomi e comportamento cambiano; per decisioni importanti consulta la pagina del produttore.
Risposte dirette
Cosa chiedono prima i proprietari di siti scettici
KI-Console non vende visibilità magica. Rendiamo il tuo sito più leggibile per i sistemi IA e mostriamo prove quando il tracker o i log le forniscono.
Perché GPTBot e ChatGPT-User sono separati?
GPTBot è legato ad addestramento e raccolta dati. ChatGPT-User è una richiesta live quando un'azione utente chiede a ChatGPT di leggere una pagina. Provano cose diverse.
Devo consentire tutti i crawler della lista?
No. Usa la lista per una policy intenzionale. Molti siti pubblici consentono gli agent live e ricerca importanti, mentre aree sensibili o poco utili restano bloccate.
Da dove arriva il numero :count?
La pagina conta le voci attuali di KNOWN_CRAWLER_BOT_GROUPS in KI-Console. Quando cambia il motore, cambia anche questa pagina.
Tutti i crawler IA rispettano robots.txt?
No. Secondo i produttori, i crawler di addestramento e di ricerca come GPTBot, ClaudeBot, PerplexityBot o Amzn-SearchBot lo rispettano. Le richieste attivate dall’utente come ChatGPT-User, Perplexity-User, Amzn-User e Google-Agent non sempre o per niente, perché le fa partire una persona. Secondo Anthropic, Claude-User rispetta robots.txt.
PerplexityBot è un crawler di addestramento?
No. Secondo Perplexity, PerplexityBot serve a mostrare e collegare siti nei risultati di ricerca e non viene usato per raccogliere contenuti per modelli di base di IA. Per questo è nel gruppo ricerca IA. Perplexity-User è la richiesta separata quando qualcuno pone una domanda.
Verifica il tuo sito
Scopri quali segnali IA funzionano adesso
Inizia con la scansione gratuita. Con un account verifichi il dominio, conservi lo storico, generi file e documenti nel tempo le visite dei crawler.