Addestramento
ClaudeBot
Crawler di addestramento
ClaudeBot è il principale crawler Anthropic associato ad addestramento dei modelli e decisioni di accesso ampio al web pubblico.
Crawler Anthropic
Claude legge il tuo sito?
Claude legge le pagine pubbliche tramite tre agent Anthropic: ClaudeBot raccoglie dati di addestramento, Claude-User preleva una pagina quando qualcuno lo interroga su di essa, Claude-SearchBot migliora la ricerca. Anthropic indica che tutti e tre rispettano robots.txt. Se blocchi Claude-User, Claude non può più prelevare la tua pagina per le domande degli utenti.
Anthropic
Separare gli agent Claude
ClaudeBot, Claude-User e Claude-SearchBot descrivono pattern di accesso diversi. Separarli aiuta a vedere se Claude può addestrarsi, recuperare live o raggiungere le tue pagine pubbliche tramite ricerca.
Richieste live
Claude-User
Richiesta live di Claude
Claude-User compare quando Claude preleva una pagina per una domanda concreta di un utente. È la prova di lettura live che i gestori di siti vogliono di solito vedere. Secondo Anthropic rispetta robots.txt: un blocco impedisce la richiesta e può ridurre la visibilità nella ricerca web guidata dall’utente.
Ricerca IA
Claude-SearchBot
Accesso Claude basato su ricerca
Secondo Anthropic, Claude-SearchBot migliora la qualità dei risultati di ricerca. Bloccarlo interrompe l’indicizzazione per la ricerca e può ridurre visibilità e accuratezza delle risposte.
Token Anthropic legacy
Token vecchi o compatibili come anthropic-ai e Claude-Web possono ancora contare nell'analisi dei log. KI-Console li mantiene nel gruppo addestramento per non perdere prove storiche.
anthropic-ai
Claude-Web
Indicazioni robots.txt
Nomina esplicitamente gli agent Claude attuali e includi i token legacy se la tua policy consente accesso Anthropic. I percorsi privati restano bloccati come sempre.
Regole Claude iniziali
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /
Sitemap: https://www.example.com/sitemap.xmlPerché l'accesso di Claude conta diversamente
Anthropic non pubblica alcuna classifica in cui guadagnarsi una posizione; non c’è un ranking da migliorare. Conta la richiesta nel momento della domanda, e lì importa solo che la tua pagina sia raggiungibile e contenga la risposta. Non c’è nulla da comprare e il budget non dà vantaggio. Chi è raggiungibile e chiaro parte dalla stessa posizione di un grande gruppo.
Quando i clienti danno loro stessi la vostra pagina a Claude
Gran parte degli accessi di Claude non nasce da una ricerca ma da qualcuno che incolla un indirizzo in una conversazione: « che cosa dice questa pagina? », « confronta queste due offerte ». È la visita più preziosa in assoluto, perché dietro c'è una persona con un'intenzione concreta. Fallisce però se la pagina respinge la richiesta — e il cliente non vede un errore del vostro server, ma solo che Claude non può dire nulla al riguardo. Proprio per questo conviene restare raggiungibili per Claude-User.
Che cosa rende una pagina citabile
Claude nomina le fonti con un collegamento quando vi attinge. Viene citato ciò che si stacca in modo pulito: un paragrafo che si regge da solo, con un'affermazione chiara e dentro un numero o una data. Non è citabile una frase che rimanda al paragrafo precedente senza ripeterlo. Una prova pratica: copiate un paragrafo del vostro sito in un file vuoto. Ha ancora senso fuori contesto ed è esatto? Allora è citabile.
Crawl-delay: qui funziona davvero
Anthropic documenta il supporto della direttiva Crawl-delay in robots.txt, con ClaudeBot come esempio. È insolito: Google la ignora da anni. Chi soffre il carico dei crawler può rallentare il bot con un valore in secondi invece di bloccarlo del tutto. È quasi sempre la scelta migliore: un blocco costa visibilità in modo permanente, un ritardo costa solo tempo. La direttiva va nello stesso gruppo delle altre regole dell’agent; Anthropic non dice esplicitamente se la rispettano anche Claude-User e Claude-SearchBot.
Come KI-Console prova le visite
KI-Console rileva ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai e Claude-Web nei log e nei report tracker, poi li raggruppa per tenere separate prova live e traffico di addestramento.
Cosa non promette l'accesso Claude
Consentire i crawler di Claude migliora l’accesso tecnico, ma non garantisce che Claude esplori, citi, raccomandi o classifichi il sito. Nemmeno un file llms.txt cambia le cose: Anthropic non ha promesso di usarlo.
Risposte dirette
Cosa chiedono prima i proprietari di siti scettici
KI-Console non vende visibilità magica. Rendiamo il tuo sito più leggibile per i sistemi IA e mostriamo prove quando il tracker o i log le forniscono.
Quale token Claude prova una lettura live?
Claude-User è il token di lettura live più chiaro perché è legato a un'azione utente concreta. ClaudeBot è un segnale di addestramento diverso.
Devo ancora seguire anthropic-ai e Claude-Web?
Sì, per log storici e compatibilità. Possono comparire meno spesso dei token attuali, ma mapparli evita di perdere vecchie prove Anthropic.
KI-Console mostra separatamente il traffico Claude?
Sì. KI-Console riconosce i token Claude e Anthropic legacy e separa traffico live, addestramento e ricerca nel workflow di prova crawler.
Devo consentire ClaudeBot perché Claude possa leggere la mia pagina?
No. ClaudeBot è il crawler di addestramento; la lettura dentro una conversazione spetta a Claude-User. Potete vietare ClaudeBot e consentire Claude-User — una posizione diffusa e ben fondata: i contenuti non devono finire nell'addestramento, ma una persona che sta guardando la pagina in quel momento deve poterla vedere. Conta solo che le regole siano scritte separatamente e che nessun blocco generico le sovrasti.
Come distinguo un vero recupero di Claude da uno falso?
Non dallo user agent da solo: si falsifica in una riga. Anthropic pubblica gli intervalli di indirizzi IP dei suoi agenti; un recupero da un intervallo estraneo non è un recupero di Claude, qualunque cosa dica l'identificativo. KI-Console effettua questo confronto invece di credere alla stringa. Per una verifica in proprio basta guardare da quale rete è arrivata la richiesta.
Verifica il tuo sito
Scopri quali segnali IA funzionano adesso
Inizia con la scansione gratuita. Con un account verifichi il dominio, conservi lo storico, generi file e documenti nel tempo le visite dei crawler.