Miten seuraat GPTBot-, ClaudeBot- ja PerplexityBot-liikennettä palvelinlokeista ja ohjaat robots.txt-tiedostoa?

Palvelinlokien tarkistus on ainoa luotettava tapa seurata GPTBot-, ClaudeBot- ja PerplexityBot-käyntejä verkkosivustollasi. Tekoälybotit noutavat raakaa HTML-koodia Cloudflaren, Vercelin, AWS CloudFrontin tai Nginxin kautta suorittamatta selaimen JavaScript-tunnisteita kuten Google Analytics 4 -seurantaa. Kun näet lokeista, mitä URL-osoitteita botit lukevat, ohjaa /robots.txt-tiedostoa botin käyttötarkoituksen mukaan sen sijaan, että estäisit kaikki tekoälybotit kerralla. GPTBot-, ClaudeBot- ja CCBot-esto pitää tulevat sivut pois kielimallien koulutusdatasta, kun taas OAI-SearchBot-, Claude-SearchBot- ja PerplexityBot-esto poistaa verkkotunnuksesi ChatGPT:n, Clauden ja Perplexityn hakusitaateista.

Miksi tekoälybottien liikenne kasvoi jyrkästi vuosina 2025 ja 2026?

Tekoälybottien liikenne muodostaa nyt enemmistön automatisoiduista verkkopyynnöistä kansainvälisissä CDN-verkoissa. Cloudflare Radar raportoi 1.7.2026, että muu kuin ihmisten tuottama liikenne ylitti 50 prosenttia maailman kaikista internet-pyynnöistä. Kielimallien koulutushaut vastasivat 52 prosentista tunnistettujen hakubottien pyynnöistä kesäkuussa 2026, kun osuus oli keväällä 2025 vielä 22 prosenttia, ja monikäyttöiset botit tuottivat yli 36 prosenttia pyynnöistä.

Koulutuskeräyksen erottaminen hakuindeksoinnista on käytännöllinen ratkaisu sekä kehittäjille että kasvutiimeille. Tunnistamattomien massakerääjien rajaaminen säästää palvelinkaistaa ja pitää tuotesivut, tutkimukset ja hintataulukot avoimina vastausmoottoreille.

Miksi Google Analytics 4 ei näytä GPTBot-, ClaudeBot- ja PerplexityBot-liikennettä?

Google Analytics 4 ei näytä GPTBot-, ClaudeBot- ja PerplexityBot-liikennettä, koska asiakaspuolen analytiikka vaatii selaimen JavaScript-suorituksen. GA4 perustuu siihen, että kävijän selain ajaa gtag.js-tiedoston ja lähettää HTTP-viestin Googlen keräyspalvelimille. Joulukuussa 2024 julkaistussa yhteistutkimuksessa MERJ:n kanssa Vercel analysoi kuukausitasolla 569 miljoonaa GPTBot-hakua, 370 miljoonaa Anthropicin Claude-hakua ja 24,4 miljoonaa PerplexityBot-hakua.

Yksikään GPTBot-, OAI-SearchBot-, ChatGPT-User-, ClaudeBot-, PerplexityBot-, Meta-ExternalAgent-, Bytespider- tai CCBot-pyyntö ei suorittanut JavaScriptiä Vercelin aineistossa. ChatGPT-botit käyttivät 11,50 prosenttia pyynnöistään ja Claude-botit 23,84 prosenttia pyynnöistään .js-tiedostojen lataamiseen pelkkänä tekstinä ajamatta yhtäkään komentosarjaa. Sivu, joka piirtää tekstinsä vasta selaimessa, näkyy näille boteille tyhjänä kuorena.

GA4:n viittausraportit kirjaavat vain ihmisten klikkaukset osoitteista chatgpt.com, claude.ai tai perplexity.ai, eivät bottien sivuhakuja. Cloudflare mittasi heinäkuussa 2025 Anthropicille 38 000 sivuhakua yhtä ohjattua kävijää kohden ja Perplexitylle 194 sivuhakua yhtä kävijää kohden. CDN- tai palvelinlokien lukeminen on ainoa keino nähdä tuhannet klikkaamattomat bottikäynnit.

Mikä on ClaudeBot ja miten GPTBot, OAI-SearchBot ja PerplexityBot eroavat toisistaan?

ClaudeBot on Anthropicin mallikoulutusbotti, GPTBot on OpenAI:n mallikoulutusbotti, ja OAI-SearchBot, Claude-SearchBot sekä PerplexityBot ovat hakusitaattibotteja. Kaikki suurimmat tekoälytoimittajat jakavat hakubottinsa erillisiin user-agent-tunnisteisiin, jotta sivuston omistaja voi kieltää mallien koulutuksen menettämättä näkyvyyttä tekoälyhaun vastauksissa.

Tekoälyliikenne jakautuu robots.txt-tiedostossa ja HTTP-lokeissa neljään tekniseen luokkaan:

• Mallikoulutusbotit. GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent ja Bytespider keräävät julkisia verkkosivuja kielimallien koulutukseen ja hienosäätöön. GPTBot- tai ClaudeBot-esto sulkee tulevat sivut pois koulutusdatasta ja säilyttää hakusitaatit ennallaan.
• Hakusitaattibotit. OAI-SearchBot, Claude-SearchBot ja PerplexityBot rakentavat hakuindeksit ChatGPT-haun, Claude-haun ja Perplexityn vastausten taustalle. OAI-SearchBot- tai PerplexityBot-esto poistaa sivusi siteeratuista tekoälyvastauksista.
• Käyttäjän käynnistämät noutajat. ChatGPT-User, Claude-User ja Perplexity-User hakevat yksittäisen URL-osoitteen silloin, kun ihminen pyytää avustajaa lukemaan sivun. OpenAI ja Perplexity dokumentoivat, että ChatGPT-User ja Perplexity-User ohittavat usein robots.txt-säännöt ihmisen tekemän pyynnön vuoksi, kun taas Anthropicin mukaan Claude-User noudattaa robots.txt-tiedostoa.
• Käyttöoikeustunnisteet. Google-Extended ja Applebot-Extended ovat robots.txt-käytäntötunnisteita eivätkä erillisiä HTTP-hakubotteja. Varsinaisen sivunoudon tekevät Googlebot ja Applebot, ja laajennustunnisteet määräävät, saavatko Google ja Apple käyttää noudettuja sivuja tekoälymalleissaan.

Mitkä user-agent-tunnisteet ohjaavat tekoälykoulutusta ja mitkä hakusitaatteja?

User-agent-tunnisteet ohjaavat tekoälykoulutusta ja hakusitaatteja kahdentoista dokumentoidun botin ja käytäntötunnisteen kautta marraskuun 2026 tilanteessa.

Miten tarkistat Nginx- ja CDN-lokeista, mitä sivuja tekoälybotit lukevat?

Nginx- ja CDN-lokien tarkistus komentorivityökaluilla rg ja awk näyttää suoraan, mitä sivuja tekoälybotit lukevat ja mitä HTTP-tilakoodeja ne saavat vastaukseksi. Vie yhdistetyt lokit Nginxistä, Apachesta, AWS CloudFrontista, Fastlysta, Cloudflare Logpushista tai Vercel Log Drainsista. Yhdistetyssä lokimuodossa kenttä $7 on pyydetty polku, kenttä $9 on HTTP-tilakoodi ja lainausmerkeillä eroteltu kenttä $6 sisältää User-Agent-otsakkeen.

Hae lyhyttä bottitunnistetta koko otsakemerkkijonon sijaan. OpenAI ja Perplexity päivittävät versionumeroita kuten GPTBot/1.4 ja OAI-SearchBot/1.4 ilman ennakkoilmoitusta.

# 1. Laske osumat tekoälybottien tunnisteiden mukaan
rg -oi 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|CCBot|Bytespider|meta-externalagent' /var/log/nginx/access.log \
  | tr '[:upper:]' '[:lower:]' \
  | sort | uniq -c | sort -rn

# 2. Tarkista hakusitaattibottien HTTP-tilakoodit 200, 301, 403 ja 404
rg -i 'OAI-SearchBot|Claude-SearchBot|PerplexityBot' /var/log/nginx/access.log \
  | awk '{
      match($0, /(OAI-SearchBot|Claude-SearchBot|PerplexityBot)/, bot);
      print tolower(bot[1]), $9
    }' \
  | sort | uniq -c | sort -rn

Tilakoodijakauma paljastaa nopeimmin piilevät CDN-estot. Jos PerplexityBot tai OAI-SearchBot saa vastaukseksi 403, vaikka /robots.txt sallii polun /, palomuurisääntö tai Cloudflaren Bot Fight Mode pysäyttää botin verkon reunalla. Kun olet varmistanut 200-vastaukset, järjestä haetuimmat polut nähdäksesi, mitä kaupallisia sivuja tekoälyavustajat lukevat eniten.

# 3. Listaa 25 luetuinta URL-osoitetta, jotka palauttavat HTTP 200 hakuboteille
rg -i 'OAI-SearchBot|ChatGPT-User|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User' /var/log/nginx/access.log \
  | awk '$9 == 200 {print $7}' \
  | sort | uniq -c | sort -rn | head -n 25

Miten todennat aidot GPTBot-, ClaudeBot- ja PerplexityBot-IP-osoitteet?

Aitojen GPTBot-, ClaudeBot- ja PerplexityBot-IP-osoitteiden todentaminen perustuu toimittajien julkaisemiin CIDR-muotoisiin JSON-tiedostoihin tai käänteiseen nimipalvelutarkistukseen. Mikä tahansa massakerääjä pystyy väärentämään GPTBot- tai ClaudeBot-nimen HTTP-pyynnön User-Agent-otsakkeeseen ohittaakseen nopeusrajoitukset. OpenAI julkaisee erilliset IPv4-osoitelistat osoitteissa https://openai.com/gptbot.json, https://openai.com/searchbot.json ja https://openai.com/chatgpt-user.json, jotka reitittyvät Microsoft Azuren AS8075-verkosta ilman käänteisiä DNS-nimiä.

Anthropic julkaisee viralliset IP-avaruutensa tiedostossa https://claude.com/crawling/bots.json. Perplexity siirsi IP-tiedostonsa 30.10.2026 osoitteesta perplexity.com osoitteisiin https://www.perplexity.ai/perplexitybot.json ja https://www.perplexity.ai/perplexity-user.json. Perplexity ohjeistaa Cloudflaren ja AWS WAF:n ylläpitäjiä yhdistämään kunkin User-Agent-otsakkeen omaan IP-listaansa WAF Skip -ohitussäännöllä ennen haastesääntöjä.

Common Crawl voidaan todentaa sekä tiedostosta https://index.commoncrawl.org/ccbot.json että käänteisestä DNS-nimestä crawl.commoncrawl.org. Synkronoi toimittajien JSON-listat automaattisesti 24 tunnin välein kiinteiden IP-kopioiden sijaan ja aseta dokumentoimattomalle Bytespider-liikenteelle tiukat pyyntörajat CDN-tasolla.

Miten määrität robots.txt-tiedoston estämään mallikoulutuksen mutta säilyttämään hakusitaatit?

Erilliset User-agent-ryhmät /robots.txt-tiedostossa ovat vakiotapa estää mallikoulutusbotit ja sallia hakusitaattibotit. IETF:n RFC 9309 -standardin mukaan hakubotti, joka täsmää omaan nimettyyn User-agent-ryhmäänsä, jättää yleisen User-agent: *-lohkon kokonaan huomiotta. Jos jätät rivin Disallow: /api/ pois nimetystä PerplexityBot- tai OAI-SearchBot-lohkosta, avaat /api/-polun kyseisille boteille, vaikka User-agent: * kieltäisi sen.

# Käytäntö: estä mallikoulutusbotit, salli tekoälyhaun sitaattibotit
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Bytespider
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml
# LLMs: https://www.example.com/llms.txt

Googlebot pidetään sallittuna User-agent: *-ryhmässä, koska Google-haku, Google AI Overviews ja Google AI Mode rakentuvat kaikki Googlebot-indeksoinnin varaan. Google-Extended on jätetty yllä olevan estoryhmän ulkopuolelle, sillä Google Search Central dokumentoi Google-Extended-eston katkaisevan sekä Gemini-mallikoulutuksen että Gemini-sovellusten lähdelinkityksen. Piikkiöläisen Botdot Oy:n bot.spot-sivustolla /robots.txt sallii kaikki haku- ja tekoälybotit User-agent: *-säännöllä, estää /api/-polun, osoittaa sivukartan https://www.bot.spot/sitemap.xml sekä lisää # LLMs:-kommentin osoitteeseen https://www.bot.spot/llms.txt llms.txt-oppaamme mukaisesti.

Miten agenttiportaalit ja tekoälynäkyvyyden seuranta yhdistävät lokit sitaatteihin?

Agenttiportaalit ja kehoteseuranta ovat kaksi kerrosta, jotka muuttavat raakalokit mitattavaksi myyntiputkeksi. Yksittäinen OAI-SearchBot-, Claude-SearchBot- tai PerplexityBot-rivin HTTP 200 -merkintä todistaa vain sen, että botti latasi sivun HTML-koodin. Staattinen HTML ei pysty tarkistamaan ajantasaista varastosaldoa, vertailemaan tuotevaihtoehtoja vuorovaikutteisesti tai ottamaan vastaan tarkistettua liidilomaketta keskustelun sisällä.

bot.gateway on brändisi julkinen portaali tekoälyagenteille, jonka kautta ChatGPT, Claude ja muut avustajat selaavat tuotteita, hakevat sisältöä ja keräävät liidejä brändätyssä päätepisteessä Enterprise-sopimuksen mukaisesti. Jotta näet, johtaako hakubottien pääsy todellisiin mainintoihin, bot.radar seuraa mainintaosuutta, sitaattiastetta ja äänenosuutta ChatGPT:ssä, Claudessa, Perplexityssä, Geminissä, Copilotissa, Google AI Overviewsissa ja Google AI Modessa, jolloin kasvutiimit näkevät teknisten korjausten vaikutuksen vastauksissa.

Mikä on viiden kohdan tarkistuslista tekoälybottien hallintaan?

Viiden kohdan tarkistuslista tekoälybottien hallintaan kattaa jokaisen tuotantoverkkotunnuksen ja aliverkkotunnuksen toistuvat tarkistukset:

1. Jäsennä seitsemän päivän CDN- tai Nginx-palvelinlokit rg- ja awk-komennoilla laskeaksesi GPTBot-, OAI-SearchBot-, ChatGPT-User-, ClaudeBot-, Claude-SearchBot-, Claude-User-, PerplexityBot- ja Perplexity-User-pyynnöt sekä HTTP-tilakoodit.
2. Tarkista bottien lähde-IP-osoitteet tiedostoista openai.com/searchbot.json, openai.com/gptbot.json, claude.com/crawling/bots.json ja www.perplexity.ai/perplexitybot.json suodattaaksesi väärennetyt kerääjät WAF-palomuurissa.
3. Jaa /robots.txt-säännöt botin tehtävän mukaan jokaisella aliverkkotunnuksella ja toista Disallow: /api/ sekä Disallow: /admin/ jokaisen nimetyn User-agent-lohkon sisällä RFC 9309 -standardin mukaisesti.
4. Testaa tärkeimmät URL-osoitteet curl-komennolla ja varmista, että otsikot, hintataulukot ja JSON-LD löytyvät palvelimen raa'asta HTML-vastauksesta ilman selaimen JavaScriptiä.
5. Seuraa ostajakysymyksiä bot.radarissa ja avaa julkinen agenttiportaali bot.gatewayn avulla, jotta bottiliikenne muuttuu todennetuiksi sitaateiksi ja liideiksi.