Навчання
ClaudeBot
Краулер навчання
ClaudeBot — це головний краулер Anthropic, пов'язаний з навчанням моделі та рішеннями щодо широкого доступу до публічного вебконтенту.
Краулери Anthropic
Чи читає Claude ваш вебсайт?
Видимість для Claude залежить не лише від одного токена. Anthropic використовує окремі агенти для навчання, живих запитів від користувачів і доступу через пошук, а також старіші токени, які досі з'являються в журналах.
Anthropic
Агенти Claude, які варто чітко розрізняти
ClaudeBot, Claude-User і Claude-SearchBot описують різні патерни доступу. Розділення допомагає побачити, чи може Claude навчатися на ваших публічних сторінках, отримувати їх наживо або знаходити через пошук.
Живі запити
Claude-User
Живий запит від Claude
Claude-User з'являється, коли Claude отримує сторінку для конкретної дії користувача. Це той сигнал живого читання, який власники вебсайтів зазвичай хочуть підтвердити.
ШІ-пошук
Claude-SearchBot
Доступ Claude через пошук
Claude-SearchBot належить до потоків пошуку та отримання даних, які можуть підтримувати актуальні відповіді.
Застарілі токени Anthropic
Старіші або сумісні токени, як-от anthropic-ai і Claude-Web, можуть і надалі бути важливими для аналізу журналів. KI-Console зберігає їх у групі навчання, щоб старі докази не втрачалися.
anthropic-ai
Claude-Web
Рекомендація для robots.txt
Явно вкажіть актуальні агенти Claude і додайте застарілі токени, якщо ваша політика передбачає дозвіл доступу Anthropic. Приватні шляхи залишайте заблокованими, як зазвичай.
Початкові правила для Claude
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /
Sitemap: https://www.example.com/sitemap.xmlЯк KI-Console підтверджує візити
KI-Console виявляє ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai і Claude-Web у журналах та звітах трекера, а потім групує їх, щоб живий доказ і трафік навчання залишалися розділеними.
Чого доступ Claude не обіцяє
Дозвіл краулерам Claude покращує технічний доступ, але не гарантує, що Claude скануватиме, цитуватиме, рекомендуватиме чи ранжуватиме вебсайт.
Чіткі відповіді
Що скептично налаштовані власники вебсайтів запитують найперше
KI-Console не продає магічну видимість. Ми робимо ваш вебсайт читабельнішим для ШІ-систем і показуємо докази там, де це дозволяють логи.
Який токен Claude підтверджує живе читання?
Claude-User — найчіткіший токен живого читання, тому що він пов'язаний з конкретною дією користувача. ClaudeBot — це інший сигнал, пов'язаний з навчанням.
Чи досі важливі anthropic-ai і Claude-Web?
Так, для історичних журналів і сумісності. Вони можуть з'являтися рідше за актуальні токени, але збереження їхнього зіставлення дає змогу не пропустити старіші докази Anthropic.
Чи показує KI-Console трафік Claude окремо?
Так. KI-Console розпізнає токени Claude і застарілі токени Anthropic та розділяє живий, навчальний і пошуковий трафік у процесі підтвердження краулерів.
Перевірте свій вебсайт
Дізнайтеся, які сигнали ШІ працюють прямо зараз
Спершу запустіть безкоштовне сканування. З обліковим записом ви можете верифікувати домен, зберігати історію, генерувати файли та документувати візити краулерів із часом.