Живі запити
Людина просить ШІ-систему прочитати або перевірити сторінку, і запит відбувається саме в цей момент. Такі відвідування є сильним сигналом конкретного попиту.
Довідковий список
Список ШІ-краулерів 2026: усі 53 агентів
Ця сторінка генерується безпосередньо з механізму розпізнавання KI-Console. Вона відокремлює справжні живі запити, спричинені користувачами, від навчальних краулерів і ШІ-пошукових краулерів, щоб доказ відвідування краулером не змішував різні сигнали.
Навчання проти живих запитів проти пошуку
Самого токена недостатньо. Група показує, що відвідування ймовірно означає.
Навчальні краулери
Навчальні агенти збирають публічний вміст за власним графіком. Вони можуть підтримувати майбутні знання моделі, але не доводять, що сьогодні якийсь користувач запитував про вас.
ШІ-пошукові краулери
Пошукові та індексаційні краулери живлять пошукові системи, які можуть підтримувати ШІ-відповіді. Класична здатність до сканування залишається частиною видимості для ШІ.
Живі запити
Спочатку живі запити 14 токенів
Ці агенти зазвичай з'являються, коли ШІ-продукт завантажує сторінку для конкретної дії користувача, відповіді чи дослідження.
| Токен User-Agent | Відомий контекст |
|---|---|
ChatGPT-User |
Живий запит OpenAI, коли користувач ChatGPT запитує доступ до сторінки. |
OAI-SearchBot |
Пошуковий краулер OpenAI для вилучення даних і відповідей на основі пошуку. |
Claude-User |
Живий запит Anthropic, коли Claude читає сторінку для дії користувача. |
Claude-SearchBot |
Пошуковий краулер Anthropic для результатів Claude на основі пошуку. |
Perplexity-User |
Живий запит користувача Perplexity для генерації відповідей або перевірки сторінки. |
Meta-ExternalFetcher |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
MistralAI-User |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
DuckAssistBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Google-CloudVertexBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Kimi-User |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Manus-User |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
NotebookLM |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
kagi-fetcher |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Gemini-Deep-Research |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Навчання
Навчальні та модельні краулери 29 токенів
Ці агенти пов'язані з навчанням моделей, збором даних або широким ШІ-індексуванням. Їхній графік і охоплення визначає постачальник.
| Токен User-Agent | Відомий контекст |
|---|---|
GPTBot |
Навчальний краулер OpenAI для рішень щодо доступу до публічного вебвмісту. |
ClaudeBot |
Навчальний краулер Anthropic для доступу до даних моделей, пов'язаних із Claude. |
anthropic-ai |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Claude-Web |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Google-Extended |
Токен керування Google для використання Gemini та Vertex AI, а не класичний Googlebot. |
Applebot-Extended |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
meta-externalagent |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Amazonbot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Bytespider |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
CCBot |
Краулер Common Crawl; набори даних з цього середовища широко використовуються в конвеєрах навчання ШІ. |
PerplexityBot |
Краулер Perplexity для виявлення в індексі та системі відповідей. |
cohere-training-data-crawler |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
cohere-ai |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
AI2Bot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Diffbot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
ImagesiftBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Webzio-Extended |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
DeepSeekBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
TongyiBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
YiyanBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
ChatGLM-Spider |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
bedrockbot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
PhindBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Bravebot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
omgili |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
PanguBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Timpibot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
YouBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
PetalBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
ШІ-пошук
ШІ-пошукові та індексаційні краулери 10 токенів
Ці краулери створюють або оновлюють пошукові індекси, які можуть підтримувати ШІ-відповіді, пошук асистента або шари вилучення даних.
| Токен User-Agent | Відомий контекст |
|---|---|
Googlebot |
Пошуковий краулер Google; залишається актуальним, бо ШІ-відповіді часто спираються на пошукові індекси. |
GoogleOther |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Bingbot |
Краулер Microsoft Bing; актуальний для Copilot і вилучення даних на основі пошуку. |
DuckDuckBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
ExaBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
TavilyBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
LinkupBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
YandexAdditional |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
iAskBot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Applebot |
Відомий агент у цій групі; оцінюйте його через значення групи та контекст ваших логів. |
Стартовий robots.txt для копіювання
Використовуйте це як консервативну відправну точку для десяти основних агентів, які KI-Console зазвичай перевіряє першими. Адаптуйте шляхи, якщо приватні розділи, процеси оформлення замовлення чи кінцеві точки застосунку мають залишатися закритими.
Кураторська група основних агентів
User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlЧесні зауваження
- Список постійно змінюється, бо постачальники перейменовують, додають і вилучають агентів.
- Для Grok і xAI у цьому механізмі наразі немає задокументованого токена краулера, тому ми його не вигадуємо.
- Ця сторінка генерується безпосередньо з нашого механізму розпізнавання.
Чіткі відповіді
Що скептично налаштовані власники вебсайтів запитують найперше
KI-Console не продає магічну видимість. Ми робимо ваш вебсайт читабельнішим для ШІ-систем і показуємо докази там, де це дозволяють логи.
Чому GPTBot і ChatGPT-User розділені?
GPTBot пов'язаний із навчанням і збором даних. ChatGPT-User — це живий запит, коли дія користувача просить ChatGPT прочитати сторінку. Вони доводять різні речі.
Чи слід дозволяти всіх краулерів зі списку?
Ні. Використовуйте список, щоб ухвалити свідому політику. Багато публічних вебсайтів дозволяють важливих живих і пошукових агентів, тоді як чутливі або малоцінні розділи залишаються заблокованими.
Звідки береться число :count?
Сторінка підраховує поточні записи KNOWN_CRAWLER_BOT_GROUPS у KI-Console. Коли механізм змінюється, змінюється і ця сторінка.
Перевірте свій вебсайт
Дізнайтеся, які сигнали ШІ працюють прямо зараз
Спершу запустіть безкоштовне сканування. З обліковим записом ви можете верифікувати домен, зберігати історію, генерувати файли та документувати візити краулерів із часом.