Какие ИИ-роботы разрешить в robots.txt: GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended и другие

Yakiv Romanchuk, основатель JW2D · Опубликовано 17 октября 2026

Коротко

ИИ-компании используют разных роботов для поиска и для обучения. Чтобы попадать в ответы ИИ, разрешите поисковых: OAI-SearchBot (поиск ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity), Bingbot (Bing и Copilot) и Googlebot (Google Поиск, обзоры от ИИ, режим ИИ). Роботы для обучения — GPTBot, ClaudeBot и токен Google-Extended — отдельный выбор; Google пишет, что Google-Extended не влияет на включение и ранжирование в Google Поиске. И проверьте CDN: Cloudflare с 1 июля 2025 года по умолчанию блокирует ИИ-роботов.

ИИ-роботы и что они делают

Компания	Робот	Назначение (официальная документация)	Для ответов ИИ?
OpenAI	OAI-SearchBot	Показывает сайты в результатах поиска ChatGPT; закрытые от него сайты не показываются в ответах поиска ChatGPT	Да — разрешить
OpenAI	ChatGPT-User	Заходит на страницы при некоторых действиях пользователя в ChatGPT и пользовательских GPT	Да — обычно разрешить
OpenAI	GPTBot	Собирает контент, который может использоваться для обучения базовых моделей OpenAI	Нет — только обучение
Anthropic	Claude-SearchBot	Индексирует контент для качества поиска Claude; отключение может снизить видимость	Да — разрешить
Anthropic	Claude-User	Загружает страницы, когда пользователи задают вопросы Claude; отключение может снизить видимость	Да — разрешить
Anthropic	ClaudeBot	Собирает веб-контент, который может пойти на обучение моделей	Нет — только обучение
Perplexity	PerplexityBot	Показывает сайты и ссылки на них в результатах Perplexity; не используется для обучения базовых моделей	Да — разрешить
Perplexity	Perplexity-User	Загружает страницы по вопросам пользователей; как правило, игнорирует robots.txt; не для обучения	Да
Google	Googlebot	Робот Google Поиска; обзоры от ИИ и режим ИИ используют страницы из индекса Google	Да — разрешить
Google	Google-Extended	Токен, управляющий использованием контента для обучения моделей Gemini и для ответов в приложениях Gemini и Vertex AI; не влияет на включение и ранжирование в Google Поиске	На ваш выбор
Microsoft	Bingbot	Робот Bing; Copilot опирается на Bing; Bing советует не блокировать Bingbot в robots.txt	Да — разрешить

Как решить

Хотите появляться в ответах ИИ — разрешите всех поисковых роботов из таблицы: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Googlebot, Bingbot.
Не хотите, чтобы контент шёл на обучение — можно запретить GPTBot, ClaudeBot и токен Google-Extended. По документации компаний это отдельно от их поисковых роботов.
Хотите максимум присутствия в ИИ — разрешите и тех и других. Это деловое решение; официальных заявлений, что разрешение роботов для обучения повышает видимость в ответах ИИ, нет.

Пример robots.txt

Минимальная настройка, которая разрешает ИИ-поиск и запрещает обучение, может выглядеть так:

User-agent: OAI-SearchBot / Allow: /
User-agent: Claude-SearchBot / Allow: /
User-agent: PerplexityBot / Allow: /
User-agent: GPTBot / Disallow: /
User-agent: ClaudeBot / Disallow: /
User-agent: Google-Extended / Disallow: /

На jw2d.com мы разрешаем и поисковых роботов, и роботов для обучения: для нас максимальное присутствие в ИИ важнее. Perplexity предупреждает, что изменения могут учитываться до 24 часов.

Ловушка Cloudflare

robots.txt — не единственный барьер. 1 июля 2025 года Cloudflare объявил, что по умолчанию блокирует ИИ-роботов, если они не платят авторам контента. В записи от 1 июля 2026 года он описал новые настройки по умолчанию с 15 сентября 2026 года для новых доменов: поисковые боты остаются разрешены, а боты для обучения и агентов по умолчанию блокируются на страницах с рекламой; неверифицированные боты по-прежнему блокируются.

Если сайт работает через Cloudflare или другой CDN с защитой от ботов, проверьте настройки ИИ-ботов там, а не только в robots.txt. Иначе robots.txt будет «разрешать», а CDN — всё равно блокировать робота.

Anthropic предупреждает, что блокировка его роботов по IP-адресу может работать ненадёжно, потому что мешает им прочитать robots.txt; для отказа рекомендуется robots.txt.

Другие технические барьеры

Отрисовка на стороне клиента. Bing советует не прятать важное содержание за клиентским рендерингом.
Мета-директивы. noindex убирает страницу из Google; Bing пишет, что NOARCHIVE запрещает использовать контент в ответах Copilot.
Формы и вход. Содержание за авторизацией или формой роботам недоступно.

Источники

Частые вопросы

Нужно ли блокировать GPTBot?

На ваше усмотрение. OpenAI описывает GPTBot как сбор контента, который может идти на обучение; попадание в поиск ChatGPT зависит от OAI-SearchBot — другого робота.

Если закрыть Google-Extended, сайт пропадёт из Google или обзоров от ИИ?

Google пишет, что Google-Extended не влияет на включение сайта в Google Поиск и не является сигналом ранжирования. Обзоры от ИИ используют страницы, проиндексированные Googlebot.

Какой робот нужен для ChatGPT?

OAI-SearchBot. OpenAI пишет, что закрытые от него сайты не показываются в ответах поиска ChatGPT.

Какой робот нужен для Claude?

Claude-SearchBot и Claude-User. Anthropic пишет, что их отключение может снизить видимость сайта в поиске Claude.

Почему ИИ-роботы не заходят на сайт, хотя robots.txt их разрешает?

Часто из-за CDN или файрвола: например, Cloudflare с июля 2025 года по умолчанию блокирует ИИ-роботов. Проверьте настройки ботов и там.

Хотите, чтобы ИИ рекомендовал ваш бизнес?

Проверим, что ChatGPT, Gemini и Perplexity отвечают о вашей нише сегодня, и покажем, с чего начать.

Обсудить проект Подробнее об услуге WhatsApp

Другие статьи