JW2D OÜ

Kuidas AI valib, millistele saitidele viidata: mida ütlevad Google, Bing, OpenAI ja Perplexity

Yakiv Romanchuk, JW2D asutaja · Avaldatud

Lühidalt

AI-assistendid viitavad veebilehtedele kahes etapis: kõigepealt leiab otsingusüsteem sobivad lehed (Google’i indeks AI ülevaadete ja AI-režiimi jaoks, Bing Copiloti jaoks, kolmandate osapoolte otsinguteenused, sealhulgas Bing, ja robot OAI-SearchBot ChatGPT jaoks, PerplexityBot Perplexity jaoks), seejärel kasutab mudel lõike, mis küsimusele kõige paremini vastavad. Täielikku valemit ei avalda ükski ettevõte, kuid nende juhised on ühel meelel: leht peab olema kättesaadav ja indekseeritud ning sisu selge, selgesõnaline ja kontrollitav.

Esimene etapp: leht peab olema leitav

Enne kui AI saab lehte tsiteerida, peab tema otsingusüsteem lehele jõudma ja selle indekseerima. Iga platvorm kirjeldab seda oma dokumentatsioonis:

Platvorm Kust leiab lehti (ametlikud allikad)
Google’i AI ülevaated ja AI-režiim Google’is indekseeritud lehed, mis sobivad lõiguga kuvamiseks; võib kasutada „query fan-out“ otsingut alamteemade kaupa
Microsoft Copilot Loodud otsingupäringud, mis saadetakse Bingi
ChatGPT otsing Kolmandate osapoolte otsinguteenused, millest üks on Bing, ja OpenAI robot OAI-SearchBot
Perplexity PerplexityBot, mis näitab ja lingib veebilehti Perplexity tulemustes
Claude Claude-SearchBot otsinguindeksi jaoks ja Claude-User lehtede laadimiseks kasutaja palvel

Kui robots.txt, tulemüür või metadirektiiv neid süsteeme blokeerib, kukub leht välja enne, kui teksti kvaliteet üldse rolli mängib. Robotitest räägime lähemalt artiklis Milliseid AI-roboteid robots.txt failis lubada.

Teine etapp: lehte peab vastuses kasutatama

Siin kirjutavad platvormid vähem konkreetselt, kuid nende avaldatud juhised osutavad samas suunas:

  • Bing: URL-e valitakse vastuste ja viidete jaoks tõenäolisemalt siis, kui sisu on iseseisev — faktid ja määratlused on selgesõnalised, põhiväited ei toetu vihjatule ja oluline info on nähtav samal lehel. Sisu peab rahuldama kasutaja kavatsuse täielikult ja olema arusaadav ilma välise kontekstita.
  • Bing: olemid peavad olema määratletud selgelt ja ühtmoodi; pildid ja video peavad teksti toetama, mitte asendama.
  • Google: oluline sisu peab olema tekstina kättesaadav, lehed roomatavad ja mugavad ning struktureeritud andmed peavad vastama nähtavale tekstile.
  • OpenAI: iga avalik veebileht võib ilmuda ChatGPT otsingus, kui see ei blokeeri OAI-SearchBotti.

Mida näitas GEO uurimus

Töö, mis võttis kasutusele mõiste generative engine optimization (Aggarwal jt, arXiv 2023, KDD 2024), kontrollis, millised sisumuudatused suurendavad allika nähtavust AI vastustes. Kõige paremini toimis tsitaatide, statistika ja allikaviidete lisamine — kuni 40% testkomplektil ja kuni 37% ühe mõõdiku järgi Perplexitys —, märksõnadega üleküllastamine aga peaaegu ei aidanud.

Mis vähendab viitamise võimalust

  • Blokeeritud robotid — robots.txt failis, tulemüüris või CDN-i robotiseadetes.
  • Direktiivid — Bingi sõnul keelab NOARCHIVE sisu kasutamise Copiloti vastustes; nosnippet ja noindex piiravad lehe kasutamist Google’is.
  • Õhukesed või reklaamirohked lehed — Bingi sõnul võivad need kaotada nähtavuse vastustes.
  • Manipuleerimine — Bing peab prompt injectionit ja muid keelemudelite manipuleerimise katseid rikkumiseks.
  • Vastuolulised faktid — meie kogemuses põhjustavad erinevad hinnad või aadressid eri saitidel seda, et AI kordab viga või jätab ettevõtte välja.

Lühike kontrollnimekiri

  1. Otsingu- ja AI-otsingu robotid on lubatud robots.txt failis ja tulemüüris.
  2. Sait on indekseeritud Google’is ja Bingis.
  3. Igale olulisele küsimusele on leht või jaotis, mis vastab sellele esimestes lausetes.
  4. Faktid on selgesõnalised: hinnad, aadressid, tähtajad, numbrid, võimalusel allikatega.
  5. Ettevõtte andmed on samad veebilehel, Google Business Profile’is ja kataloogides.

Allikad

  1. Google Search Central. AI features and your website
  2. Bing Webmaster Guidelines
  3. Microsoft Learn. Data, privacy, and security for web search in Microsoft Copilot
  4. OpenAI Help Center. Publishers and Developers — FAQ
  5. OpenAI. Introducing ChatGPT search
  6. Perplexity Docs. Perplexity Crawlers
  7. Claude Help Center. Does Anthropic crawl data from the web, and how can site owners block the crawler?
  8. Aggarwal P. et al. GEO: Generative Engine Optimization. arXiv:2311.09735, KDD 2024
  9. Google Search Central. Do you need an SEO?

Korduma kippuvad küsimused

Kuidas ChatGPT valib, millistele saitidele viidata?

OpenAI kirjutab, et ChatGPT otsing kasutab kolmandate osapoolte otsinguteenuseid, sealhulgas Bingi, ja oma robotit OAI-SearchBot; iga avalik sait, mis seda ei blokeeri, võib vastustes ilmuda. Täielikku valikuvalemit OpenAI ei avalda.

Kas AI võtab Google’i esimese tulemuse?

Mitte tingimata. Google’i sõnul võivad AI ülevaated ja AI-režiim teha mitu seotud otsingut alamteemade kaupa, seega võidakse lehte tsiteerida kitsa alamküsimuse puhul.

Millist sisu tsiteeritakse kõige sagedamini?

Iseseisvat sisu selgesõnaliste faktidega. GEO uurimuses suurendasid nähtavust kõige rohkem tsitaadid, statistika ja allikaviited.

Kas AI viidete eest saab maksta?

Üheski meie uuritud ametlikus allikas pole kirjeldatud viisi AI vastustes viidete eest maksta; Google kirjutab, et ta ei võta kunagi raha saitide lisamise või järjestamise eest oma otsingutulemustes.

Miks AI minu saidile ei viita?

Kõige sagedamini tehnilised põhjused: blokeeritud robotid, puuduv indekseerimine või piiravad direktiivid. Seejärel sisu: ebaselged vastused, puuduvad faktid või vastuolulised ettevõtteandmed.

Soovite, et AI soovitaks teie ettevõtet?

Kontrollime, mida ChatGPT, Gemini ja Perplexity täna teie valdkonna kohta vastavad, ja näitame, kust alustada.

Arutame projekti Loe teenusest WhatsApp

Teised artiklid