Краулери OpenAI
Не існує єдиного краулера ChatGPT. OpenAI використовує різних агентів для навчання, живого доступу, спричиненого користувачами, і вилучення даних на основі пошуку. Окремий розгляд робить рішення щодо robots.txt і докази відвідувань набагато чіткішими.
OpenAI
Відвідування GPTBot, відвідування ChatGPT-User і відвідування OAI-SearchBot означають не одне й те саме. Токен показує, який тип доступу відбувся.
Навчання
GPTBot
GPTBot — це краулер OpenAI, який більшість команд пов'язують із навчанням або широким збором вебданих. Дозволити його — це питання політики, а не доказ живої відповіді в ChatGPT.
Живі запити
ChatGPT-User
ChatGPT-User — це найсильніший сигнал того, що хтось попросив ChatGPT отримати доступ до сторінки або інструмент запросив сторінку саме в цей момент.
ШІ-пошук
OAI-SearchBot
OAI-SearchBot належить до робочих процесів пошуку та вилучення даних. Він може бути важливим, коли ChatGPT використовує актуальну вебінформацію, а не лише знання моделі.
Якщо ви хочете, щоб системи, пов'язані з ChatGPT, могли досягати публічного вмісту, назвіть трьох агентів явно. Приватні шляхи можуть залишатися заблокованими; ви також можете дозволити живі запити й обмежити ширший доступ для навчання.
Стартові правила OpenAI
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
Sitemap: https://www.example.com/sitemap.xmlKI-Console розпізнає GPTBot, ChatGPT-User і OAI-SearchBot у завантажених логах і через трекер, якщо він встановлений. Радар розділяє групи, щоб живий доступ не зникав у загальному трафіку ботів.
Відвідування краулером не гарантує рейтингу, включення, цитування чи позитивної відповіді. Воно доводить технічний доступ у певний момент часу, тобто основу, яку ви можете контролювати.
Чіткі відповіді
KI-Console не продає магічну видимість. Ми робимо ваш вебсайт читабельнішим для ШІ-систем і показуємо докази там, де це дозволяють логи.
Ні. GPTBot пов'язаний із навчанням або збором даних. ChatGPT-User — це живий запит, прив'язаний до дії користувача або запиту інструмента.
Так, robots.txt може називати агентів окремо. Це дає змогу підтримувати живе читання користувачами й ухвалити інше рішення щодо доступу для навчання.
Так. Система виявлення відстежує GPTBot, ChatGPT-User та OAI-SearchBot і показує їх разом з їхньою групою краулерів.
Перевірте свій вебсайт
Спершу запустіть безкоштовне сканування. З обліковим записом ви можете верифікувати домен, зберігати історію, генерувати файли та документувати візити краулерів із часом.