JW2D OÜ

Как попасть в ответы Claude: роботы Anthropic и веб-поиск

Yakiv Romanchuk, основатель JW2D · Опубликовано

Коротко

Claude ищет в интернете в реальном времени, и, по словам Anthropic, каждый ответ на основе веб-поиска содержит ссылки на источники. Чтобы ваш сайт был среди них, роботы Anthropic должны до него добираться: Claude-SearchBot индексирует содержимое для поиска, и его блокировка может снизить видимость; Claude-User открывает страницы по запросу пользователя; ClaudeBot собирает содержимое для обучения моделей. В robots.txt они настраиваются отдельно, так что можно отказаться от обучения и остаться видимым в поиске. Claude доступен в Эстонии.

Три робота Anthropic

Робот Что делает (по словам Anthropic) Если заблокировать
Claude-SearchBot Обходит интернет, чтобы улучшать качество результатов поиска для пользователей Содержимое не индексируется для поиска, что может снизить видимость и точность сайта в результатах поиска
Claude-User Работает для пользователей Claude: открывает страницы, когда пользователь задаёт вопрос Claude не сможет получить ваше содержимое в ответ на запрос пользователя
ClaudeBot Собирает содержимое, которое может пойти в обучение моделей Будущие материалы сайта исключаются из данных для обучения

Чтобы попадать в ответы Claude, разрешите как минимум Claude-SearchBot и Claude-User. ClaudeBot — отдельное решение про обучение; его блокировка не блокирует двух других.

robots.txt, частота обхода и файрволы

  • Роботы Anthropic соблюдают директивы robots.txt. Правило должно быть в robots.txt каждого поддомена.
  • Чтобы снизить нагрузку, Anthropic поддерживает нестандартную директиву Crawl-delay.
  • Блокировать IP-адреса Anthropic не советует: тогда робот не прочитает robots.txt, и отказ может работать ненадёжно. Список IP-адресов своих роботов Anthropic публикует.
  • CDN или файрвол могут блокировать роботов, даже если robots.txt их разрешает. Например, 1 июля 2025 года Cloudflare объявил, что по умолчанию блокирует ИИ-роботов — см. какие ИИ-роботы разрешить.

Пример robots.txt, при котором сайт виден в поиске Claude, но исключён из обучения:

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

На jw2d.com разрешены все три: мы хотим, чтобы наши тексты знали и сами модели ИИ.

Как работает веб-поиск в Claude

  • Anthropic пишет, что веб-поиск даёт Claude данные в реальном времени и что каждый ответ содержит ссылки на источники, чтобы пользователь мог их проверить.
  • В обычном интерфейсе чата пользователь сам включает веб-поиск; в новом интерфейсе Claude ищет в интернете, когда это полезно.
  • На тарифах Team и Enterprise веб-поиск сначала должен включить владелец в настройках организации.
  • Бесплатные аккаунты могут пользоваться поиском в пределах лимитов.
  • В справке Anthropic не указано, чей поиск даёт общие результаты; сказано только, что поиск изображений работает на Bing.

Работает ли Claude в Эстонии

Да. Эстония есть в списке поддерживаемых регионов Anthropic для её приложений, включая Claude.ai.

Что сделать

  1. Разрешите Claude-SearchBot и Claude-User в robots.txt и проверьте настройки CDN или файрвола.
  2. Пишите факты текстом. Услуги, город, цены, контакты и часы работы — обычным HTML-текстом, одинаково на всех страницах (по нашей практике).
  3. Отвечайте на вопрос в начале. Claude ссылается на конкретные источники, и страницу, которая отвечает на вопрос в первых предложениях, проще процитировать (по нашей практике).
  4. Добавляйте источники и цифры. В исследовании GEO цитаты, статистика и ссылки на источники повышали видимость в ответах ИИ. Claude не входил в число проверенных систем, так что это общая рекомендация.
  5. Держите сайт в индексе Google и Bing: это помогает во всех ИИ-поисковиках — см. как ИИ выбирает источники.

Как проверить, ссылается ли на вас Claude

Официального отчёта Claude для владельцев сайтов мы не нашли. Задавайте Claude вопросы ваших клиентов с включённым веб-поиском, на их языках, и записывайте, есть ли ваш сайт среди источников и кого советуют вместо вас. В логах сервера визиты Claude-SearchBot и Claude-User видны по user agent (наш метод).

Источники

  1. Claude Help Center. Does Anthropic crawl data from the web, and how can site owners block the crawler?
  2. Claude Help Center. Enabling and using web search
  3. Anthropic. Supported Regions Policy
  4. Cloudflare. Content Independence Day: no AI crawl without compensation
  5. Aggarwal P. et al. GEO: Generative Engine Optimization. arXiv:2311.09735, KDD 2024

Частые вопросы

Какой робот Claude нужен, чтобы попадать в ответы Claude?

Claude-SearchBot, который индексирует содержимое для поиска, и Claude-User, который открывает страницы по запросу пользователя. Anthropic пишет, что блокировка Claude-SearchBot может снизить видимость в результатах поиска.

Можно ли запретить обучение Claude, но остаться в поиске?

Да. Обучением управляет ClaudeBot, отдельно от Claude-SearchBot и Claude-User. Запретите ClaudeBot в robots.txt и разрешите двух других.

Показывает ли Claude источники?

Anthropic пишет, что каждый ответ на основе веб-поиска содержит ссылки на источники.

Доступен ли Claude в Эстонии?

Да. Эстония есть в списке поддерживаемых регионов Anthropic.

Стоит ли блокировать Anthropic по IP-адресу?

Anthropic не советует: тогда робот не прочитает robots.txt, и отказ может работать ненадёжно. Используйте robots.txt.

Хотите, чтобы ИИ рекомендовал ваш бизнес?

Проверим, что ChatGPT, Gemini и Perplexity отвечают о вашей нише сегодня, и покажем, с чего начать.

Обсудить проект Подробнее об услуге WhatsApp

Другие статьи