JW2D OÜ

Milliseid AI-roboteid robots.txt failis lubada: GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended jt

Yakiv Romanchuk, JW2D asutaja · Avaldatud

Lühidalt

AI-ettevõtted kasutavad eraldi roboteid otsingu ja treenimise jaoks. AI vastustesse jõudmiseks lubage otsingurobotid: OAI-SearchBot (ChatGPT otsing), Claude-SearchBot (Claude), PerplexityBot (Perplexity), Bingbot (Bing ja Copilot) ja Googlebot (Google’i otsing, AI ülevaated, AI-režiim). Treenimisrobotid — GPTBot, ClaudeBot ja token Google-Extended — on eraldi valik; Google’i sõnul ei mõjuta Google-Extended Google’i otsingusse kaasamist ega järjestust. Kontrollige ka CDN-i: Cloudflare blokeerib AI-roboteid vaikimisi alates 1. juulist 2025.

AI-robotid ja mida nad teevad

Ettevõte Robot Eesmärk (ametlik dokumentatsioon) AI vastuste jaoks?
OpenAI OAI-SearchBot Näitab veebilehti ChatGPT otsingutulemustes; sellest loobunud saite ChatGPT otsinguvastustes ei näidata Jah — lubada
OpenAI ChatGPT-User Külastab lehti teatud kasutajatoimingute puhul ChatGPT-s ja kohandatud GPT-des Jah — tavaliselt lubada
OpenAI GPTBot Kogub sisu, mida võidakse kasutada OpenAI alusmudelite treenimiseks Ei — ainult treenimine
Anthropic Claude-SearchBot Indekseerib sisu Claude’i otsingu kvaliteedi jaoks; väljalülitamine võib nähtavust vähendada Jah — lubada
Anthropic Claude-User Laadib lehti, kui kasutajad Claude’ilt küsivad; väljalülitamine võib nähtavust vähendada Jah — lubada
Anthropic ClaudeBot Kogub veebisisu, mis võib minna mudelite treenimiseks Ei — ainult treenimine
Perplexity PerplexityBot Näitab ja lingib veebilehti Perplexity tulemustes; ei kasutata alusmudelite treenimiseks Jah — lubada
Perplexity Perplexity-User Laadib lehti kasutajate küsimuste jaoks; üldiselt eirab robots.txt faili; mitte treenimiseks Jah
Google Googlebot Google’i otsingu robot; AI ülevaated ja AI-režiim kasutavad Google’i indeksi lehti Jah — lubada
Google Google-Extended Token, mis juhib sisu kasutamist Gemini mudelite treenimiseks ja vastusteks Gemini rakendustes ja Vertex AI-s; ei mõjuta Google’i otsingusse kaasamist ega järjestust Teie valik
Microsoft Bingbot Bingi robot; Copilot toetub Bingile; Bing soovitab Bingbotti robots.txt failis mitte blokeerida Jah — lubada

Kuidas otsustada

  • Soovite AI vastustes ilmuda — lubage kõik tabeli otsingurobotid: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Googlebot, Bingbot.
  • Ei soovi, et sisu läheks treenimiseks — võite keelata GPTBoti, ClaudeBoti ja tokeni Google-Extended. Ettevõtete dokumentatsiooni järgi on see nende otsingurobotitest eraldi.
  • Soovite AI-s maksimaalset kohalolu — lubage mõlemad. See on ärivalik; ametlikku teadet, et treenimisrobotite lubamine parandab nähtavust AI vastustes, pole.

robots.txt näide

Minimaalne seadistus, mis lubab AI-otsingu ja keelab treenimise, võib välja näha nii:

  • User-agent: OAI-SearchBot / Allow: /
  • User-agent: Claude-SearchBot / Allow: /
  • User-agent: PerplexityBot / Allow: /
  • User-agent: GPTBot / Disallow: /
  • User-agent: ClaudeBot / Disallow: /
  • User-agent: Google-Extended / Disallow: /

jw2d.com-is lubame nii otsingu- kui treenimisrobotid: meie jaoks on maksimaalne kohalolu AI-s olulisem. Perplexity hoiatab, et muudatuste arvessevõtmine võib võtta kuni 24 tundi.

Cloudflare’i lõks

robots.txt pole ainus tõke. 1. juulil 2025 teatas Cloudflare, et blokeerib AI-roboteid vaikimisi, kui need sisu loojatele ei maksa. 1. juuli 2026 postituses kirjeldas ta uusi vaikeseadeid alates 15. septembrist 2026 uutele domeenidele: otsingurobotid jäävad lubatuks, treenimis- ja agendirobotid blokeeritakse vaikimisi reklaamiga lehtedel; kinnitamata robotid on endiselt vaikimisi blokeeritud.

Kui teie sait töötab Cloudflare’i või mõne muu robotikaitsega CDN-i taga, kontrollige AI-robotite seadeid ka seal, mitte ainult robots.txt failis. Muidu „lubab“ robots.txt, kuid CDN blokeerib roboti ikkagi.

Anthropic hoiatab, et tema robotite blokeerimine IP-aadressi järgi ei pruugi usaldusväärselt toimida, sest takistab neil robots.txt faili lugemast; loobumiseks soovitatakse robots.txt faili.

Muud tehnilised tõkked

  • Kliendipoolne renderdamine. Bing soovitab olulist sisu mitte peita kliendipoolse renderdamise taha.
  • Metadirektiivid. noindex eemaldab lehe Google’ist; Bingi sõnul keelab NOARCHIVE sisu kasutamise Copiloti vastustes.
  • Vormid ja sisselogimine. Sisselogimise või vormi taga olev sisu pole robotitele kättesaadav.

Allikad

  1. OpenAI. Overview of OpenAI crawlers
  2. Claude Help Center. Does Anthropic crawl data from the web, and how can site owners block the crawler?
  3. Perplexity Docs. Perplexity Crawlers
  4. Google Search Central. Google’s common crawlers (Google-Extended)
  5. Google Search Central. AI features and your website
  6. Bing Webmaster Guidelines
  7. Cloudflare. Content Independence Day: no AI crawl without compensation! (1. juuli 2025)
  8. Cloudflare. Your site, your rules: new AI traffic options for all customers (1. juuli 2026)

Korduma kippuvad küsimused

Kas GPTBot tuleks blokeerida?

See on teie valik. OpenAI kirjeldab GPTBotti kui sisu kogumist, mida võidakse kasutada treenimiseks; ChatGPT otsingusse jõudmine sõltub OAI-SearchBotist, mis on teine robot.

Kas Google-Extended’i keelamine eemaldab saidi Google’ist või AI ülevaadetest?

Google’i sõnul ei mõjuta Google-Extended saidi Google’i otsingusse kaasamist ega ole järjestussignaal. AI ülevaated kasutavad Googleboti indekseeritud lehti.

Millist robotit on vaja ChatGPT jaoks?

OAI-SearchBotti. OpenAI kirjutab, et sellest loobunud saite ChatGPT otsinguvastustes ei näidata.

Millist robotit on vaja Claude’i jaoks?

Claude-SearchBotti ja Claude-Userit. Anthropicu sõnul võib nende väljalülitamine vähendada saidi nähtavust Claude’i otsingus.

Miks AI-robotid saidile ei jõua, kuigi robots.txt neid lubab?

Sageli CDN-i või tulemüüri tõttu: näiteks Cloudflare blokeerib AI-roboteid vaikimisi alates 2025. aasta juulist. Kontrollige ka seal robotiseadeid.

Soovite, et AI soovitaks teie ettevõtet?

Kontrollime, mida ChatGPT, Gemini ja Perplexity täna teie valdkonna kohta vastavad, ja näitame, kust alustada.

Arutame projekti Loe teenusest WhatsApp

Teised artiklid