robots.txt ja tekoälybotit: estää vai sallia? Päätös perusteltuna

Lyhyt vastaus: salli tekoälyhakujen botit ja päätä koulutusboteista erikseen. Pk-yritykselle tärkein kysymys on, mitä kumpikin valinta maksaa. Estäminen maksaa näkyvyyttä tekoälyhauissa. Salliminen maksaa palvelinkapasiteettia ja sitä, että sisältösi päätyy mallien koulutukseen. Lisäksi syyskuussa 2026 tuli kolmas riski, joka ei liity robots.txt-tiedostoon lainkaan.

Bottien tunnistaminen ja lokien lukeminen on käyty läpi artikkelissa GPTBot, ClaudeBot, PerplexityBot. Tässä keskitytään itse päätökseen.

Hakubotin esto maksaa näkyvyyden, koulutusbotin esto ei

Cloudflare jakaa tekoälyliikenteen kolmeen luokkaan. Search kerää tai indeksoi sisältöä, jotta palvelu voi myöhemmin vastata siitä kysymyksiin. Agent toimii yleensä reaaliajassa ihmisen puolesta. Training hakee sisältöä mallin kouluttamiseen tai hienosäätöön (Cloudflare).

Jako ratkaisee hinnan. OpenAI kertoo suoraan, että OAI-SearchBotin estäneitä sivustoja ei näytetä ChatGPT:n hakuvastauksissa, vaikka ne voivat yhä näkyä navigointilinkkeinä (OpenAI). Hakubotin esto on siis sama asia kuin pyytäisi Googlea jättämään sivun pois hausta.

Koulutusbotin esto on toista. Googlen Google-Extended-tunnisteen estäminen robots.txt:ssä ei vaikuta sivuston näkymiseen Google-haussa eikä sitä käytetä sijoitussignaalina (Cloudflare). Se ei myöskään poista sivua AI Overviewsista tai AI Modesta, jotka ovat osa hakua. Niissä näytettävää tietoa Google ohjaa rajoittamaan nosnippet-, data-nosnippet-, max-snippet- tai noindex-ohjeilla (Google Search Central).

Julkaisijat ovat tehneet saman erottelun. Cloudflare Radarin 28. syyskuuta 2026 otoksessa oli 4 242 robots.txt-tiedostoa. GPTBotille oli 520 Disallow-sääntöä, ClaudeBotille 446, CCBotille 430 ja Google-Extendedille 398, kun taas hakuun käytettävä OAI-SearchBot oli sallittu hieman useammin kuin estetty, suhteessa 0,91:1 (TechnologyChecker). Kokonaan GPTBotin esti 8,11 %, ClaudeBotin 6,91 % ja Google-Extendedin 5,94 % sivustoista.

Tekoälybotit hakevat paljon ja tuovat vähän takaisin

Sallimisen hinta näkyy luvuissa, joita Cloudflare kutsuu crawl-to-refer-suhteeksi: montako kertaa yhtiön botit hakevat sivuja suhteessa siihen, montako kävijää yhtiö ohjaa takaisin.

Heinäkuussa 2026 Cloudflare Radarin luvut olivat Anthropicille 1 917:1, Perplexitylle 289:1, OpenAI:lle 251:1, Microsoftille 36,2:1, ByteDancelle 9,6:1, Googlelle 4,7:1 ja DuckDuckGolle 2,4:1 (eCorpIT, Cloudflare Radar).

Luvut ovat koko verkon keskiarvoja, eivät yhden sivuston. Ne kertovat silti olennaisen: Google tuo kävijöitä takaisin moninkertaisesti verrattuna tekoälyyhtiöihin. Jos sivustosi on pieni ja palvelin kestää, tekoälybottien hakumäärä ei ole ongelma. Jos sivusto on iso tai palvelin heikko, se voi olla.

Pk-yrityksen palvelusivulla tasapaino on yleensä selvä. Sivun tehtävä on, että asiakas löytää yrityksen, ja tekoälyhaku on yksi paikka, josta asiakas nykyään kysyy. Mediatalolle, jonka tuote on itse teksti, laskelma on toinen.

Cloudflaren koulutusesto estää myös Googlebotin

Cloudflaren mukaan kaikilla Cloudflareen liitettävillä uusilla verkkotunnuksilla Training- ja Agent-luokat estetään oletuksena sivuilla, joilla näytetään mainoksia, kun taas Search pysyy oletuksena sallittuna (Cloudflare). Muutos tuli voimaan 15. syyskuuta 2026. The Decoderin mukaan Cloudflaren perustelu on, että mainos kertoo sivuston haluavan ihmiskävijöitä (The Decoder).

Ansa on monikäyttöisissä boteissa. Cloudflare varoittaa, että asiakkaat, jotka valitsevat koulutuksen eston, estävät samalla monikäyttöiset botit kuten Googlebotin, Applebotin ja Bingbotin, koska järjestelmä soveltaa tiukinta sääntöä (Cloudflare). Suganthan Mohanadasan tiivistää asian: kun ruksaat “estä tekoälykoulutus”, estät myös Googlebotin (Suganthan).

Suomalaiselle yrittäjälle tämä tarkoittaa, että robots.txt voi olla täysin kunnossa ja Googlebot silti estetty, jos Cloudflaren asetuksissa on valittu koulutuksen esto. Jos haluat estää koulutuksen ja pysyä haussa, Cloudflaren suositus on Disallow-sääntö Google-Extendedille robots.txt:ssä (Cloudflare), ei koulutusluokan estoa palomuurissa.

Kolme valintaa ja mitä kukin maksaa

Salli kaikki. Näyt kaikissa tekoälyhauissa, ja sisältösi voi päätyä mallien koulutukseen. Hinta on palvelinkuorma ja se, ettet itse päätä sisältösi koulutuskäytöstä. Tämä sopii useimmille palveluyrityksille, joiden sivuilla ei ole mitään salaista.

Salli haku, estä koulutus. Estä robots.txt:ssä GPTBot, ClaudeBot ja Google-Extended, jätä hakubotit auki. OpenAI:n ja Googlen dokumentaation mukaan koulutusboteilla ei ole vaikutusta niiden hakuvastauksiin. Hinta on pieni: mallit eivät opi sisällöstäsi suoraan, mikä voi heikentää sitä, miten ne tuntevat alasi suomeksi. Tätä ei ole mitattu, joten se on arvio, ei fakta.

Estä kaikki. OpenAI:n mukaan katoat ChatGPT:n hakuvastauksista, ja muiden tekoälyhakujen kohdalla vaikutus on todennäköisesti sama. Google-haku ja AI Overviews säilyvät, jos et estä Googlebotia. Tämä sopii lähinnä sivustolle, jonka sisältö on itse tuote.

Valitsit minkä tahansa, tarkista lisäksi Cloudflaren tai muun CDN:n bottiasetukset. Robots.txt kertoo, mitä haluat. Palomuuri ratkaisee, mitä tapahtuu.

Tämä sivusto sallii kaikki botit

mainostoimisto.ai:n robots.txt sallii kaikki botit, ja sen ensimmäinen rivi sanoo sen suoraan: “kaikki botit sallittu, myös tekoälybotit. Mittaamme, ketkä käyvät.” Sivuston tehtävä on testata, löytääkö tekoäly suomenkielisen sivun, ja koe olisi arvoton, jos osa boteista olisi estetty.

Sivusto on Cloudflaren takana ja liitettiin sinne syyskuussa 2026, joten se on uusi verkkotunnus Cloudflaren muutoksen mielessä. Siksi bottiasetus tarkistetaan erikseen Cloudflaren hallintapaneelista eikä luoteta robots.txt-tiedostoon. Kun bottikäynneistä on dataa, se julkaistaan pilarissa näkyvyyden mittaaminen tekoälyssä.

Kysymyksiä, joita tästä haetaan

Poistaako GPTBotin esto yrityksen ChatGPT:stä?

Ei ChatGPT-hausta. GPTBot kerää sisältöä mallien koulutukseen. ChatGPT:n hakuvastauksiin vaikuttaa OAI-SearchBot, ja OpenAI:n mukaan sen estäneitä sivustoja ei näytetä ChatGPT:n hakuvastauksissa, vaikka ne voivat yhä näkyä navigointilinkkeinä.

Voiko AI Overviewsin estää robots.txt:llä?

Ei ilman, että estät samalla Google-haun. Google ohjaa rajoittamaan tekoälyominaisuuksissa näytettävää tietoa nosnippet-, data-nosnippet-, max-snippet- tai noindex-ohjeilla, ja ne vaikuttavat myös tavalliseen hakutulokseen.

Koskeeko Cloudflaren syyskuun muutos vanhoja sivustoja?

Cloudflaren mukaan uudet oletukset koskevat Cloudflareen liitettäviä uusia verkkotunnuksia. Olemassa olevien asetukset eivät muutu, ellei asiakas itse muuta niitä.

Lähteet

1. Cloudflare Blog: Your site, your rules — new AI traffic options for all customers (1.7.2026)Search/Agent/Training-luokat, uusien verkkotunnusten oletus 15.9.2026, monikäyttöiset botit
2. Cloudflare Blog: Have it both ways — stay discoverable in search while disallowing AI training (15.9.2026)Googlebot monikäyttöisenä; Google-Extended ei vaikuta hakuun
3. The Decoder: Cloudflare replaces its blanket AI bot block with granular controlsPerustelu: mainos kertoo, että sivusto haluaa ihmiskävijöitä
4. Suganthan Mohanadasan: Cloudflare just changed the AI crawler defaults, and there's a trap in itKoulutuseston sivuvaikutus Googlebotiin
5. eCorpIT: Crawl-to-refer ratios in July 2026 (Cloudflare Radar)Haku- ja ohjauskäyntien suhde yhtiöittäin
6. TechnologyChecker: Which AI crawlers get blocked most (Cloudflare Radar, 9/2026)Estojen yleisyys robots.txt-tiedostoissa
7. OpenAI: Overview of OpenAI CrawlersOAI-SearchBotin eston vaikutus
8. Google Search Central: AI features and your websiteAI Overviews / AI Mode -näkyvyyden rajoittaminen

Löysitkö virheen?

Tämän tekstin kirjoitti Claude ja toinen kone tarkisti faktat. Ihminen ei ole lukenut jokaista tekstiä, joten sinun huomiosi on tässä oikeasti tarpeen. Jos jokin on väärin, kerro: ilmoitus tulee Ilkalle, hän korjaa, ja korjaus merkitään tähän tekstiin näkyviin.

Mikä on väärinSähköposti, jos haluat kuulla korjauksesta

Lähetä ilmoitus