JW2D OÜ

Как ИИ выбирает, на какие сайты ссылаться: что говорят Google, Bing, OpenAI и Perplexity

Yakiv Romanchuk, основатель JW2D · Опубликовано

Коротко

ИИ-ассистенты ссылаются на сайты в два шага: сначала поисковая система находит подходящие страницы (индекс Google для обзоров от ИИ и режима ИИ, Bing для Copilot, сторонние поисковые сервисы, включая Bing, и робот OAI-SearchBot для ChatGPT, PerplexityBot для Perplexity), затем модель использует фрагменты, которые лучше всего отвечают на вопрос. Полную формулу не публикует ни одна компания, но их правила сходятся: страница должна быть доступна и проиндексирована, а содержание — ясным, явным и проверяемым.

Шаг первый: страницу должны найти

Прежде чем ИИ процитирует страницу, его поисковая система должна до неё добраться и проиндексировать. Каждая платформа описывает это в своей документации:

Платформа Где находит страницы (официальные источники)
Обзоры от ИИ и режим ИИ в Google Страницы, проиндексированные Google и имеющие право на сниппет; может выполнять «query fan-out» по подтемам
Microsoft Copilot Сгенерированные поисковые запросы, отправленные в Bing
Поиск ChatGPT Сторонние поисковые сервисы, один из которых — Bing, и робот OpenAI OAI-SearchBot
Perplexity PerplexityBot, который показывает сайты и ссылки на них в результатах Perplexity
Claude Claude-SearchBot для поискового индекса и Claude-User для загрузки страниц по запросу пользователя

Если robots.txt, файрвол или мета-директива блокируют эти системы, страница выпадает ещё до того, как начинает играть роль качество текста. Подробно о роботах — в статье Какие ИИ-роботы разрешить в robots.txt.

Шаг второй: страницу должны использовать в ответе

Здесь платформы пишут менее конкретно, но их опубликованные рекомендации указывают в одну сторону:

  • Bing: страницы чаще выбираются для ответов и цитирований, когда содержание самодостаточно — факты и определения сформулированы явно, ключевые утверждения не опираются на подразумеваемое, а важная информация видна на самой странице. Контент должен полностью отвечать на запрос и быть понятным без внешнего контекста.
  • Bing: сущности должны быть определены чётко и одинаково; картинки и видео должны дополнять текст, а не заменять его.
  • Google: важное содержание должно быть доступно текстом, страницы — доступны для сканирования и удобны, а структурированные данные должны совпадать с видимым текстом.
  • OpenAI: любой публичный сайт может появиться в поиске ChatGPT, если не блокирует OAI-SearchBot.

Что показало исследование GEO

В работе, где ввели понятие generative engine optimization (Aggarwal и соавторы, arXiv 2023, KDD 2024), проверяли, какие изменения контента повышают заметность источника в ответах ИИ. Лучше всего сработало добавление цитат, статистики и ссылок на источники — до 40% на тестовом наборе и до 37% по одной из метрик на Perplexity, — а набивка ключевыми словами почти ничего не дала.

Что снижает шансы на цитирование

  • Закрытые роботы — в robots.txt, файрволе или настройках ботов в CDN.
  • Директивы — Bing пишет, что NOARCHIVE запрещает использовать контент в ответах Copilot; nosnippet и noindex ограничивают использование страницы в Google.
  • Пустые или перегруженные рекламой страницы — по словам Bing, они могут терять видимость в ответах.
  • Манипуляции — Bing считает prompt injection и другие попытки манипулировать языковыми моделями нарушением.
  • Противоречивые факты — по нашей практике, разные цены или адреса на разных сайтах приводят к тому, что ИИ повторяет ошибку или пропускает компанию.

Короткий чек-лист

  1. Поисковые и ИИ-роботы разрешены в robots.txt и в файрволе.
  2. Сайт проиндексирован в Google и Bing.
  3. На каждый важный вопрос есть страница или раздел, который отвечает на него в первых предложениях.
  4. Факты явные: цены, адреса, сроки, цифры, по возможности с источниками.
  5. Данные о компании одинаковые на сайте, в Google Business Profile и в каталогах.

Источники

  1. Google Search Central. AI features and your website
  2. Bing Webmaster Guidelines
  3. Microsoft Learn. Data, privacy, and security for web search in Microsoft Copilot
  4. OpenAI Help Center. Publishers and Developers — FAQ
  5. OpenAI. Introducing ChatGPT search
  6. Perplexity Docs. Perplexity Crawlers
  7. Claude Help Center. Does Anthropic crawl data from the web, and how can site owners block the crawler?
  8. Aggarwal P. et al. GEO: Generative Engine Optimization. arXiv:2311.09735, KDD 2024
  9. Google Search Central. Do you need an SEO?

Частые вопросы

Как ChatGPT выбирает, на какие сайты ссылаться?

OpenAI пишет, что поиск ChatGPT использует сторонние поисковые сервисы, включая Bing, и собственного робота OAI-SearchBot; любой публичный сайт, который его не блокирует, может появиться в ответах. Полную формулу выбора OpenAI не публикует.

ИИ берёт первый результат Google?

Не обязательно. Google пишет, что обзоры от ИИ и режим ИИ могут выполнять несколько связанных поисков по подтемам, поэтому страницу могут процитировать по узкому подвопросу.

Какой контент цитируют чаще всего?

Самодостаточный контент с явными фактами. В исследовании GEO сильнее всего заметность повышали цитаты, статистика и ссылки на источники.

Можно ли заплатить, чтобы ИИ ссылался на сайт?

Ни в одном из изученных нами официальных источников способ оплатить цитирование в ответах ИИ не описан; Google пишет, что никогда не берёт деньги за включение или ранжирование сайтов в результатах поиска.

Почему ИИ не ссылается на мой сайт?

Чаще всего технические причины: закрытые роботы, отсутствие индексации или ограничивающие директивы. Затем — содержание: нечёткие ответы, нет фактов или данные о компании противоречат друг другу.

Хотите, чтобы ИИ рекомендовал ваш бизнес?

Проверим, что ChatGPT, Gemini и Perplexity отвечают о вашей нише сегодня, и покажем, с чего начать.

Обсудить проект Подробнее об услуге WhatsApp

Другие статьи