Проверка доступа сайта для поиска ChatGPT начинается с конкретной публичной страницы. Её должен суметь получить робот OAI-SearchBot, который OpenAI использует для поисковых функций. Разрешение роботу лишь убирает одно техническое препятствие: оно не гарантирует, что страница появится в ответе или получит ссылку.
Проверку удобно пройти вместе с разработчиком: от адреса страницы и правил обхода до логов и результата в ChatGPT.
Сначала различите три робота OpenAI
В документации OpenAI описаны разные назначения:
| Имя в User-Agent | Для чего используется | Что решает владелец сайта |
|---|---|---|
| OAI-SearchBot | Автоматический обход для поисковых функций ChatGPT | Разрешить ли поисковому роботу получать публичные страницы. |
| GPTBot | Обход материалов, которые могут использоваться при обучении моделей | Разрешить или запретить такое использование отдельно от поиска. |
| ChatGPT-User | Обращения к страницам по действию пользователя ChatGPT | Его запросы не служат критерием допуска в ChatGPT Search. |
Для задачи этой статьи проверяйте прежде всего OAI-SearchBot. OpenAI прямо указывает, что настройки для него и GPTBot независимы. Можно разрешить поисковый обход и отдельно запретить обход для обучения. Появление ChatGPT-User в логах не доказывает, что страницу получил поисковый робот.
Шаг 1. Возьмите один важный публичный URL
Выберите страницу с прямым ответом на вопрос клиента: описание услуги, сравнение решений, условия применения продукта или инструкцию. Не начинайте с главной страницы только потому, что она есть: для конкретного вопроса полезнее проверить соответствующий материал.
Откройте URL в приватном окне без авторизации. Зафиксируйте конечный адрес после перенаправлений и проверьте:
- страница действительно отдаёт содержимое, а не форму входа, заглушку или ошибку;
- основной ответ присутствует в доступном тексте страницы;
- адрес не уводит на другой домен или тестовую версию;
- в исходном HTML или заголовках ответа нет случайного
noindex(это может проверить разработчик).
Удобно сохранить короткую строку аудита: «исходный URL → конечный URL → HTTP-статус → что увидел человек». Обычный браузерный просмотр подтверждает только доступность для человека. Дальше нужно отдельно проверить правила для робота и работу защиты сайта.
Шаг 2. Прочитайте актуальный robots.txt
Файл находится по адресу вида https://example.com/robots.txt в корне того же хоста, на котором размещена страница. Для www.example.com и example.com это разные адреса. Руководство Google по формату robots.txt также уточняет, что правила привязаны к протоколу, хосту и порту.
Найдите группу User-agent: OAI-SearchBot и проверьте правила для пути страницы. Если отдельной группы нет, посмотрите общие правила User-agent: *. Не ограничивайтесь поиском слова Allow: важны и Disallow, и путь целевой страницы.
Пример для сайта, где /private/ и /admin/ закрыты, а остальные страницы публичны:
User-agent: OAI-SearchBot
Disallow: /private/
Disallow: /admin/
Allow: /
User-agent: GPTBot
Disallow: /Здесь поисковому роботу разрешены публичные страницы, а GPTBot запрещён обход. Пути /private/ и /admin/ приведены для примера: замените их реальными закрытыми путями своего сайта. Отдельная группа для OAI-SearchBot может иметь приоритет перед общей группой User-agent: *, поэтому перенесите в неё нужные ограничения и проверьте итоговые правила для целевого URL. robots.txt не защищает конфиденциальные данные: кабинеты и служебные файлы должны быть закрыты средствами самого сайта.
Если robots.txt недоступен, отдаёт неожиданное содержимое или проверяется не на том хосте, выясните причину, прежде чем делать вывод о правилах для робота. Само отсутствие файла не доказывает запрет обхода. После изменения файла проверяйте опубликованную версию, а не локальную копию. OpenAI предупреждает, что её системам может потребоваться около 24 часов, чтобы учесть обновлённые правила. Это время обновления доступа, а не обещание появления в поисковом ответе.
Шаг 3. Проверьте сервер и защиту от ботов
Разрешение в robots.txt не отменяет ответы сервера и ограничения CDN. Важный URL может открываться человеку, но отдавать роботу 403, 429, капчу или пустую страницу. Сверьте конфигурацию WAF, CDN, антибот-сервиса и ограничения по IP.
Для начальной диагностики разработчик может запросить заголовки и конечный адрес страницы командой curl -L -I https://example.com/important-page, а затем повторить запрос методом GET. Параметр -I отправляет запрос HEAD. Некоторые сайты обрабатывают HEAD иначе, чем GET; неожиданный ответ перепроверьте полноценным запросом и в серверных логах. Подмена User-Agent в своей команде полезна для проверки отдельных правил сервера, но не доказывает, что настоящий робот с IP OpenAI успешно проходит защиту.
OpenAI публикует диапазоны IP для OAI-SearchBot. Если у вас есть белые списки, проверяйте их по этой актуальной ссылке, а не по списку адресов, скопированному в статью. Изменения защиты согласуйте с ответственным за безопасность сайта.
Шаг 4. Посмотрите запросы в логах
Попросите разработчика найти обращения к проверяемому пути и к robots.txt с User-Agent, содержащим OAI-SearchBot. Для найденных запросов запишите дату, путь, HTTP-статус и результат защиты CDN. Важно понять, дошёл ли запрос до страницы и получил ли успешный ответ.
| Наблюдение | Что проверить дальше |
|---|---|
| robots.txt закрывает путь | Исправить правило для нужных публичных страниц и снова проверить файл. |
| Робот получает 403 или капчу | Проверить WAF/CDN, правила по IP и журнал блокировок. |
| Много ответов 429 | Проверить лимиты запросов и причину срабатывания. |
| Запросов пока нет | Убедиться, что URL доступен и связан внутренними ссылками; повторить наблюдение позднее. |
| Запрос успешен | Перейти к качеству самой страницы и наблюдению за показами и переходами. |
Отсутствие строки в небольшой выборке логов само по себе не доказывает запрет: робот мог ещё не прийти, а часть запросов могла остаться только в логах CDN. Если вы проверяете подлинность бота для настройки IP-доступа, сопоставляйте фактический IP с актуальным списком OpenAI, поскольку один текст User-Agent можно подделать.
Шаг 5. Отделите доступ от результата
После технического исправления проверьте несколько вопросов, для которых страница действительно полезна. Сохраняйте дату, формулировку, режим поиска и полученный ответ. Отмечайте отдельно:
- Есть ли упоминание бренда.
- Есть ли ссылка и ведёт ли она на нужный URL.
- Правильно ли переданы факты о продукте.
- Пришёл ли переход на сайт.
OpenAI пишет, что для включения содержания сайта в сводки и фрагменты поиска ChatGPT важно не блокировать OAI-SearchBot. При этом доступная страница не обязана появиться в каждом ответе. Ссылка без перехода, упоминание без ссылки и реальный визит считаются разными событиями. В веб-аналитике переходы из ChatGPT Search можно искать, в частности, по параметру utm_source=chatgpt.com, который описывает OpenAI. Такой отчёт не подсчитывает все случаи упоминания бренда.
Если робот получает страницу, а полезного ответа на ней нет, улучшите материал: дайте прямое объяснение, условия применения, ограничения и подтверждённые сведения. Общий порядок такой работы описан в статье «Что такое GEO-продвижение и с чего начать бизнесу».
Короткий итог проверки
- Публичная страница открывается без входа и отдаёт нужный текст.
- Для её хоста проверен
robots.txt; путь не закрыт для OAI-SearchBot. - CDN и сервер не подменяют страницу ошибкой или капчей для поискового робота.
- Логи и аналитика фиксируются отдельно от ручных наблюдений в ChatGPT.
- Политика GPTBot принята отдельно от политики поискового обхода.
Эти проверки дают технический ответ на вопрос «может ли поисковый робот получить страницу?». Вопрос «почему сервис выбрал или не выбрал её для конкретного ответа?» требует следующей работы с содержанием и наблюдений. Гарантировать включение страницы в ответы нельзя.
Источники
- OpenAI: назначения и настройки веб-роботов.
- OpenAI: рекомендации издателям и отслеживание переходов.
- Google: расположение и формат robots.txt.
Правила сервисов могут измениться; перед изменением настроек сайта сверьте актуальные версии документов.