mainostoimisto.ai
Oulu · 06:00:00

Tekninen SEOKirjoitti kone · faktat tarkisti kone · vastuu: Ilkka Immonen

Metan ehtomuutos tauolla: saako Meta lukea yrityksesi sivut?

Vastaus lyhyestiEi uusien ehtojen perusteella, ainakaan vielä. Meta keskeytti 5. marraskuuta ehtomuutoksen, jonka piti antaa sille lupa ryömiä yritystilien sivustoja. Vanhat ehdot ovat voimassa, ja niissäkin mainostaja antaa luvan ryömiä verkkotunnuksiaan. Metan botteja voi rajata robots.txt-tiedostossa nimeltä, esimerkiksi koulutukseen käytettävän Meta-ExternalAgentin, mutta ehdot eivät luvanneet tiedoston noudattamista.

Lyhyt vastaus: Metan uudet kaupalliset ehdot, jotka olisivat antaneet sille luvan ryömiä yritystilien verkkosivuja, eivät tulleet voimaan. Meta keskeytti ne 5. marraskuuta. Ryömintä ei silti ole pois pöydältä, koska vanhoissa mainosehdoissa on oma lupansa, ja Metan botit liikkuvat verkossa ehdoista riippumatta.

Tämän tekstin kirjoitti tekoäly väitepankin varassa. Aiheen alkuperäinen oletus oli, että ehdot tulivat voimaan 30. lokakuuta. Lähteet kertovat toisin, joten teksti kertoo, mitä tapahtui. Tämä ei ole lakineuvontaa. Metan omaa ehtosivua en saanut avattua, ja Meta oli poistanut esikatselulinkin, joten ehtojen sanamuoto on lainattu Nieman Labista, joka lainasi ne suoraan.

Luonnos olisi koskenut jokaista yritystiliä, ei vain mainostajia

Alkuperäisessä luonnoksessa yritys antoi Metalle luvan käyttää automaattisia ohjelmia, kuten ryömijöitä ja botteja, ja luoda testitunnuksia, jotta Meta voisi hakea, indeksoida ja tallentaa ne verkkotunnukset, sivut ja osoitteet, jotka liittyvät yrityksen tuotteisiin tai palveluihin. Saman luonnoksen mukaan Meta saisi käyttää sisältöä muun muassa tuotteidensa kehittämiseen, tutkimukseen ja kouluttamiseen, englanniksi “train” (Nieman Lab).

Laajuus oli se, mikä nosti vastustuksen. Search Engine Journalin mukaan ehdot koskivat mitä tahansa Metan tuotteiden liiketoimintakäyttöä mainosten ajamisesta Facebook-sivun ylläpitoon (Search Engine Journal). Nieman Lab kuvasi kohderyhmäksi yritystilit, jotka hallinnoivat sivuja ja ryhmiä, ajavat mainoksia tai lähettävät markkinointiviestejä.

Train-sana poistettiin, mutta koulutusta ei kielletty

Let’s Data Science -sivuston mukaan korjattu ryömintälauseke on 16. lokakuuta julkaistu versio (Let’s Data Science). Korjatussa tekstissä sisältöä käytetään mainos- ja liiketoimintatuotteiden tarjoamiseen, kehittämiseen, parantamiseen, tutkimukseen ja ylläpitoon (Nieman Lab).

Juristien mielestä muutos oli pieni. Asianajaja Matt Topicin mukaan korjattu versio antaa Metan edelleen käyttää kerättyä sisältöä minkä tahansa liiketoimintatuotteen kehittämiseen (sama lähde). The Next Webin haastattelema News/Media Alliancen edustaja sanoi koulutuksen olevan “edelleen mahdollisesti pöydällä” (The Next Web). Sanan poistaminen ei siis ole sama asia kuin kielto.

Ehdot eivät luvanneet noudattaa robots.txt-tiedostoa

Tämä on pk-yrityksen kannalta olennaisin kohta. Nieman Labin mukaan korjatuissa ehdoissa ei ole mitään erityistä kieltä robots.txt-toiveiden kunnioittamisesta. Search Engine Journal totesi saman: kumpikaan päivitetyistä ehdoista ei mainitse robots.txt-tiedostoa.

Metan edustaja sanoi Nieman Labille, että uutissivustoilla, kuten kaikilla muillakin sisällön omistajilla, on edelleen mahdollisuus estää ryömijä robots.txt-merkinnöillä. Lupaus on siis lausunnossa, ei sopimuksessa. Julkaisijat vastasivat PPC Landin mukaan, ettei robots.txt-tiedosto korvaa sopimukseen kirjattua oikeutta kieltäytyä (PPC Land). Nieman Labin mukaan yritystileillä ei myöskään ollut mahdollisuutta kieltäytyä uusista ehdoista ennen voimaantuloa.

Voimaantulo siirtyi ensin ja peruuntui sitten

Alun perin ehtojen piti tulla voimaan 30. lokakuuta. Let’s Data Sciencen mukaan Meta siirsi kaupallisten ehtojen ja itsepalvelumainosten ehtojen voimaantulon 20. marraskuuta, ja siirto vahvistettiin 23. lokakuuta.

Sitten Meta keskeytti koko muutoksen. Nieman Labin lainaaman Metan ohjesivun mukaan päivitykset on keskeytetty, ne eivät tule voimaan 20. marraskuuta, ja sillä välin nykyiset ehdot pysyvät voimassa. Metan edustajan mukaan yhtiö jatkaa keskustelua sidosryhmien kanssa ja kertoo lisää, kun kerrottavaa on (Nieman Lab). Uutta päivämäärää ei ole annettu, joten muutos voi palata eri sanamuodolla.

Vanhoissakin mainosehdoissa on ryömintälupa

Keskeytys ei tarkoita, ettei mikään sopimus anna Metalle lupaa lukea sivujasi. Search Engine Journalin mukaan voimassa olevissa kaupallisissa ehdoissa, jotka ovat 6. maaliskuuta 2024, ei ole ryömintälauseketta. Itsepalvelumainosten ehdoissa (22. elokuuta 2025) mainostilauksen tekeminen kuitenkin antaa Metalle oikeuden ryömiä mainostajan verkkotunnusten sisältöä.

Ero on siinä, kenet ehto koskee. Nyt lupa sidotaan mainoksen ostamiseen. Keskeytetty luonnos olisi sitonut sen mihin tahansa yrityskäyttöön. PPC Land muistuttaa vielä, että keskeytys koskee sopimusta, ei ohjelmistoa: Metan ilmoitus ei sano mitään sen ryömijöistä, kuten Meta-ExternalAgentista.

Metan botit erotellaan robots.txt-tiedostossa nimeltä

Metan oma bottidokumentaatio kertoo, mitä kukin botti tekee (Meta for Developers). Meta-ExternalAgent ryömii verkkoa esimerkiksi tekoälyn perusmallien koulutusta varten. Meta-ExternalAds ryömii esimerkiksi mainonnan parantamiseksi. Meta-WebIndexer parantaa Meta AI:n hakutuloksia, ja sen salliminen auttaa Metan mukaan lainaamaan ja linkittämään sisältöäsi Meta AI:n vastauksissa.

Kaksi bottia voi ohittaa tiedoston. Meta-ExternalFetcher hakee yksittäisiä linkkejä käyttäjän pyynnöstä ja voi siksi ohittaa robots.txt-tiedoston. FacebookExternalHit hakee jaetun linkin sisällön, ja sekin voi ohittaa tiedoston turvallisuus- ja eheystarkistuksissa. Koska FacebookExternalHit hakee jaettujen linkkien sisällön, sen estäminen voi haitata linkkien näkymistä Facebookissa.

Metan ohje on yksinkertainen: estääksesi botin lisää sille disallow-sääntö robots.txt-tiedostoon ja varaa muutokselle 24 tuntia. Jos haluat pitää Meta AI:n lainaukset mutta et halua sisältöäsi koulutukseen tai mainoskäyttöön, tiedostoon tulee tällainen lohko:

User-agent: meta-externalagent
Disallow: /

User-agent: meta-externalads
Disallow: /

Meta-WebIndexeriä ei mainita lohkossa, joten se saa edelleen ryömiä.

Jos et ole vielä päättänyt, mitä teet tekoälybottien kanssa ylipäätään, päätöksen perusteet ovat artikkelissa robots.txt ja tekoälybotit. Sitä, käyvätkö Metan botit sivuillasi oikeasti, voit katsoa palvelinlokeista artikkelin tekoälybotit lokeissa ohjeilla.

Tämä on eri asia kuin hakukoneen indeksointi

Meta-ExternalAgentin esto ei vaikuta Google-hakuun, koska robots.txt-säännöt kohdistuvat botin nimeen. Googlen oma kanta tukee erottelua kahdella tavalla. Ensinnäkin Googlen mukaan robots.txt on tarkoitettu ensisijaisesti ryömijöiden liikenteen hallintaan, eikä se ole keino pitää sivua poissa Googlesta. Lisäksi tiedoston ohjeet eivät voi pakottaa ryömijää, vaan noudattaminen on ryömijän varassa (Google Search Central).

Toiseksi Googlen Gary Illyes sanoi Search Central -videolla, että RFC 9309:n määrittelemänä robots.txt on pääsytoiveen protokolla, eikä se määrää, mitä järjestelmä tekee datalla ryöminnän jälkeen (Search Engine Journal). Juuri siksi sopimusteksti on merkityksellinen: robots.txt kertoo, saako botti tulla, mutta ei sitä, mihin haettua sisältöä käytetään.

Google on ratkaissut saman kysymyksen erillisellä tunnisteella. Google-Extended ei Googlen mukaan vaikuta sivuston näkymiseen Google-haussa eikä ole sijoitustekijä (Google). Metalla vastaava erottelu on bottien nimissä, ei sopimuksessa. Hakunäkyvyyden kannalta tämä tarkoittaa, että pk-yritys voi rajata Metan koulutusbotin menettämättä mitään Googlessa. Muut aihepiirin tekniset kysymykset ovat pilarissa tekninen SEO tekoälyaikana.

Kysymyksiä, joita tästä haetaan

Miten estän Metaa käyttämästä sivujani tekoälyn koulutukseen?

Lisää robots.txt-tiedostoon User-agent: meta-externalagent ja sen alle Disallow: /. Metan mukaan Meta-ExternalAgent ryömii esimerkiksi tekoälyn perusmallien koulutusta varten, ja muutoksen voimaantulo voi kestää 24 tuntia. Tiedosto on toive, ei sopimus.

Vaikuttaako Metan bottien esto Google-hakuun?

Ei. robots.txt-säännöt kohdistuvat botin nimeen, joten Meta-ExternalAgentin esto ei koske Googlebotia. Googlen oma koulutustunniste Google-Extended ei Googlen mukaan vaikuta hakuun eikä ole sijoitustekijä.

Lähteet

  1. Nieman Lab: Meta's new commercial terms will allow the scraping of news sites, legal experts sayAlkuperäisen ehtoluonnoksen sanamuoto lainattuna
  2. Nieman Lab: Legal experts warn Meta's new terms still grant broad scraping permissionsKorjattu luonnos ilman train-sanaa, robots.txt puuttuu ehdoista, juristien arviot
  3. Nieman Lab: Meta pulls down controversial terms of serviceMuutokset keskeytetty, vanhat ehdot voimassa
  4. PPC Land: Meta halts its Nov 20 terms that would let it crawl business websitesKeskeytys koskee sopimusta, ei botteja
  5. Let's Data Science: Meta delays commercial terms to November 20Voimaantulon siirto ja lokakuun 16. päivän versio
  6. Search Engine Journal: Meta's new terms expand crawling rights beyond advertisersVoimassa olevat Commercial Terms ja Self-Serve Ad Terms
  7. The Next Web: Meta drops 'train' from its website-crawling terms after backlashKoulutusta ei kielletty erikseen
  8. Meta for Developers: Meta Web CrawlersMetan bottien nimet, tarkoitukset ja robots.txt-ohje
  9. Google Search Central: Introduction to robots.txtrobots.txt ohjaa ryömintää, ei pakota bottia
  10. Search Engine Journal: Gary Illyes on robots.txt and AI trainingrobots.txt ei säätele datan käyttöä ryöminnän jälkeen
  11. Google: List of Google's common crawlersGoogle-Extended ei vaikuta hakuun

Löysitkö virheen?

Tämän tekstin kirjoitti Claude ja toinen kone tarkisti faktat. Ihminen ei ole lukenut jokaista tekstiä, joten sinun huomiosi on tässä oikeasti tarpeen. Jos jokin on väärin, kerro: ilmoitus tulee Ilkalle, hän korjaa, ja korjaus merkitään tähän tekstiin näkyviin.

Sama kone, sinun alasi.

Täällä kone kirjoittaa hakukoneoptimoinnista, koska se on tämän laboratorion aihe. Sinun sivustollasi se kirjoittaisi siitä, mitä asiakkaasi kysyvät: uuden pelaajan ilmoittautumisesta, lämpöpumpun huollosta, toiminimen muuttamisesta osakeyhtiöksi. Aiheet, tahti ja se, julkaiseeko kone itse vai vasta kun olet lukenut, sovitaan sinun bisneksesi mukaan. Ja jos haluat ensin nähdä oman sivustosi kolmena eri suuntana, sekin tehdään ennen kuin mitään rakennetaan.

Hinnat ja työnäytteet ovat cosmicthing.fi:ssä.

Kerro, mitä teetKuka tämän takana on