Краулери OpenAI
Не існує єдиного краулера ChatGPT. OpenAI використовує різних агентів для навчання, живого доступу, спричиненого користувачами, і вилучення даних на основі пошуку. Окремий розгляд робить рішення щодо robots.txt і докази відвідувань набагато чіткішими.
OpenAI
Відвідування GPTBot, відвідування ChatGPT-User і відвідування OAI-SearchBot означають не одне й те саме. Токен показує, який тип доступу відбувся.
Навчання
GPTBot
GPTBot — це краулер OpenAI, який більшість команд пов'язують із навчанням або широким збором вебданих. Дозволити його — це питання політики, а не доказ живої відповіді в ChatGPT.
Живі запити
ChatGPT-User
ChatGPT-User — це найсильніший сигнал того, що хтось попросив ChatGPT отримати доступ до сторінки або інструмент запросив сторінку саме в цей момент.
ШІ-пошук
OAI-SearchBot
OAI-SearchBot належить до робочих процесів пошуку та вилучення даних. Він може бути важливим, коли ChatGPT використовує актуальну вебінформацію, а не лише знання моделі.
Якщо ви хочете, щоб системи, пов'язані з ChatGPT, могли досягати публічного вмісту, назвіть трьох агентів явно. Приватні шляхи можуть залишатися заблокованими; ви також можете дозволити живі запити й обмежити ширший доступ для навчання.
Стартові правила OpenAI
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
Sitemap: https://www.example.com/sitemap.xmlПерший — через навчання: ваша сторінка була в даних, на яких навчалася модель. На це ви сьогодні не впливаєте й перевірити не можете. Другий — через пошук: OAI-SearchBot тримає сторінку в індексі, з якого ChatGPT черпає за потреби. Третій — через живий запит: хтось питає, і ChatGPT дістає сторінку саме тоді. Керувати можна лише двома останніми шляхами — і саме там вирішується, чи опишуть вашу компанію такою, як вона є сьогодні, чи за застарілим знімком.
Запит — це не візит браузера. JavaScript не виконується, миша не рухається, розгортання не відкривається. Важить те, що є у вихідному коді; те, що скрипт довантажує згодом, зазвичай відсутнє. Тексту всередині зображень теж немає — ціна на графіці для системи ШІ просто не існує. Перевірити це можна без жодного інструмента: відкрийте сторінку, вимкніть JavaScript у браузері, перезавантажте. Те, що лишиться читним, — приблизно те, що доходить.
Disallow у robots.txt, часто залишок давньої тестової фази. Брандмауер або захист від ботів, що гуртом відхиляє невідомі агенти — тоді запит навіть не доходить. Вміст, видимий лише після входу або діалогу згоди. Сторінка, чиє твердження міститься лише в зображенні. Дуже довга сторінка, де важливі дані стоять унизу й зникають під час обрізання. І найчастіший випадок: питання, яке ставить клієнт, ніде на сайті не відповідається як питання.
Відкрийте свій robots.txt у браузері й прочитайте, чи дозволені там GPTBot, ChatGPT-User і OAI-SearchBot. Вимкніть JavaScript і перевірте, чи лишається ваше головне твердження. На найважливішій сторінці пошукайте три питання, які клієнти ставлять телефоном: чи стоять вони як питання, з відповіддю під ними? Перегляньте журнали сервера щодо цих трьох агентів. І запитайте сам ChatGPT про вашу компанію: те, що вийде, — найчесніша відправна точка, яку можна дістати.
Доступ виміряти можна: який агент, коли й яку сторінку дістав і з яким результатом. А от чи обернулося це на згадку — виміряти не можна. OpenAI не публікує статистики про те, у скількох відповідях названо вашу сторінку; чесно пообіцяти цього ніхто не може, а хто продає таке число — той його оцінив на око. Що ви можете: доводити доступ, регулярно питати ChatGPT про власну компанію й порівнювати відповіді протягом місяців. Це незручніше за показник, але правдиво.
KI-Console розпізнає GPTBot, ChatGPT-User і OAI-SearchBot у завантажених логах і через трекер, якщо він встановлений. Радар розділяє групи, щоб живий доступ не зникав у загальному трафіку ботів.
Відвідування краулером не гарантує рейтингу, включення, цитування чи позитивної відповіді. Воно доводить технічний доступ у певний момент часу, тобто основу, яку ви можете контролювати.
Чіткі відповіді
KI-Console не продає магічну видимість. Ми робимо ваш вебсайт читабельнішим для ШІ-систем і показуємо докази там, де це дозволяють логи.
Ні. GPTBot пов'язаний із навчанням або збором даних. ChatGPT-User — це живий запит, прив'язаний до дії користувача або запиту інструмента.
Так, robots.txt може називати агентів окремо. Це дає змогу підтримувати живе читання користувачами й ухвалити інше рішення щодо доступу для навчання.
Так. Система виявлення відстежує GPTBot, ChatGPT-User та OAI-SearchBot і показує їх разом з їхньою групою краулерів.
За живого запиту — негайно: ChatGPT-User дістає сторінку тієї миті, коли хтось питає. Для пошукового індексу минають дні або тижні, залежно від того, коли повернеться OAI-SearchBot. Для навчання — уже ніколи: те, що всередині моделі, зміниться лише з наступною моделлю. Тому хто хоче виправити хибні дані про власну компанію, виправляє їх на сайті й дбає, щоб живий запит працював — це діє найшвидше.
Для сьогоднішньої помітності — майже ні, бо GPTBot стосується майбутнього навчання, а не сьогоднішньої відповіді. Але хто блокує GPTBot і ненароком блокує разом із ним ChatGPT-User та OAI-SearchBot — загальним правилом або захистом від ботів — той відрізає себе від живого запиту. Це найчастіша помилка, яку ми бачимо: намір стосувався навчання, а вдарило по помітності.
Здебільшого не тому, що конкурент більший, а тому, що в нього відповідь на поставлене питання написана прямим текстом. Модель називає те, що може процитувати. Хто пише «ремонтуємо гібридні автомобілі всіх марок у Берні та околицях», того назвуть саме на це питання; хто пише «ваш надійний партнер у мобільності» — ні. Порівняйте свою сторінку й конкурентову щодо питання, яке вас цікавить: різниця майже завжди в конкретності, а не в розмірі компанії.
Перевірте свій вебсайт
Спершу запустіть безкоштовне сканування. З обліковим записом ви можете верифікувати домен, зберігати історію, генерувати файли та документувати візити краулерів із часом.