Kort svar: vill du att din sajt ska kunna nämnas och länkas i svaren från ChatGPT, Perplexity och andra AI-tjänster ska du släppa in deras robotar. Vill du däremot inte att dina texter används för att träna AI-modeller kan du blockera just träningsrobotarna, utan att försvinna ur AI-svaren. De två sakerna styrs nämligen av olika robotar, och det är den skillnaden hela beslutet hänger på. Därför går jag här igenom vilka robotarna är, vad var och en gör, och hur du kontrollerar och ändrar din robots.txt i WordPress.
Det här är del tre i min guideserie om AI-SEO: så syns din hemsida i ChatGPT och Google.
Vad är robots.txt?
robots.txt är en textfil i roten på din webbplats. Du ser din egen genom att skriva dindoman.se/robots.txt i webbläsaren. Filen talar om för robotar (sökmotorernas och AI-tjänsternas program som hämtar webbsidor) vad de får och inte får hämta. Varje seriös robot har dessutom ett eget namn, och därför kan du ge olika regler till olika namn.
Två saker är värda att ha klart för sig innan du rör filen:
- robots.txt är en skylt, inte ett lås. Seriösa aktörer, alltså Google, OpenAI, Anthropic och Perplexity, säger själva att de följer den. Oseriösa robotar struntar däremot i den.
- Har du inte gjort något aktivt är allt öppet. WordPress standardfil blockerar bara admin-sidorna. Alla AI-robotar är alltså redan insläppta på de flesta sajter.
Tre sorters AI-robotar, och varför skillnaden avgör
Det som gör frågan förvirrande är att varje AI-företag har flera robotar med olika jobb. De delar därför in sig i tre grupper:
1. Träningsrobotar samlar text som kan användas för att träna framtida AI-modeller. Blockerar du dem säger du ”träna inte på mitt innehåll”, men det påverkar inte om du syns i AI-tjänsternas svar i dag. Hit hör GPTBot (OpenAI), ClaudeBot (Anthropic) och styrkoden Google-Extended (Googles Gemini).
2. Sökrobotar bygger de index som AI-tjänsternas söklägen hämtar sina svar ur. Blockerar du dem försvinner du därför ur svaren. Hit hör OAI-SearchBot (ChatGPT:s sökfunktion), PerplexityBot och Claude-SearchBot.
3. Användarhämtare hämtar en sida först när en människa ber AI-tjänsten om det (”läs den här sidan åt mig”). Hit hör ChatGPT-User, Perplexity-User och Claude-User.
Här skiljer sig leverantörerna åt, och det är värt att veta. Eftersom en människa bett om hämtningen säger både OpenAI och Perplexity rakt ut att deras användarhämtare inte alltid följer robots.txt. Anthropic säger tvärtom att samtliga tre av deras robotar respekterar robots.txt, och att en spärr mot Claude-User gör att Claude inte kan hämta din sida när någon frågar om den. Med andra ord: en och samma rad i robots.txt får olika effekt hos olika tjänster.
Företagen är dessutom själva tydliga med att inställningarna är oberoende av varandra. OpenAI skriver i sin dokumentation att en sajtägare kan tillåta OAI-SearchBot för att synas i sökresultaten och samtidigt blockera GPTBot för att slippa träningen. Perplexity betonar i sin tur att PerplexityBot inte används för att träna AI-modeller alls.
Google är specialfallet
Google-Extended är ingen egen robot, utan en styrkod du kan skriva i robots.txt. Googles vanliga sökrobot Googlebot hämtar sidorna som alltid, medan Google-Extended bara avgör om det hämtade också får användas för att träna framtida Gemini-modeller och som underlag i Gemini-appen.
Googles dokumentation är uttrycklig på två punkter: Google-Extended påverkar inte om din sajt visas i Google-sökningen, och den används inte som rankningssignal. Men det många missar är att AI-översikterna i Googles sökresultat inte styrs av Google-Extended. De hämtar nämligen ur det vanliga sökindexet. Vill du bort från AI-översikterna är därför enda vägen att blockera Googlebot eller använda nosnippet, och då försvinner du ur den vanliga Google-sökningen också. Det paketet går alltså inte att dela upp.
Konsekvenstabell: vad händer om du blockerar?
| Om du blockerar | Då slipper du | Men du förlorar |
|---|---|---|
| GPTBot | Träning av OpenAI:s framtida modeller på ditt innehåll | Inget i dagens synlighet |
| OAI-SearchBot | Ingenting | Synlighet i ChatGPT:s söksvar |
| ClaudeBot | Träning av Anthropics framtida modeller | Inget i dagens synlighet |
| Claude-SearchBot | Ingenting | Synlighet i Claudes söksvar |
| PerplexityBot | Ingenting, roboten tränar inga modeller | Synlighet i Perplexitys svar |
| Google-Extended | Gemini-träning och Gemini-appens underlag | Inget i Google-sökningen, och AI-översikterna påverkas INTE |
| Googlebot | Allt Google, inklusive AI-översikterna | Hela din Google-synlighet |
| ChatGPT-User, Perplexity-User | Direkthämtningar åt användare, men OpenAI och Perplexity följer inte alltid spärren | Att tjänsten kan läsa och länka din sida när någon frågar om just den |
| Claude-User | Direkthämtningar åt användare, och Anthropic följer spärren | Att Claude kan läsa och länka din sida när någon frågar om just den |
Mitt eget val: allt öppet
På den här sajten är alla AI-robotar insläppta. Min robots.txt blockerar ingenting utom det WordPress-standard blockerar. Skälet är enkelt: målet med mitt öppna experiment om AI-SEO är att erkensten.se ska citeras i AI-svaren, och därför vore det bakvänt att stänga dörren för robotarna som gör citeringen möjlig.
Kalkylen ser däremot annorlunda ut för andra. Lever du på att sälja själva texten, alltså fotografier, kurser eller journalistik bakom betalvägg, är det rimligt att blockera träningsrobotarna och behålla sökrobotarna. Det är nämligen precis den uppdelningen robotarna är byggda för.
Ett ärligt förbehåll: att blockera en träningsrobot gäller framtida insamling. Det som redan hämtats försvinner alltså inte retroaktivt.
Gör så här: kontrollera och ändra robots.txt i WordPress
Det här förutsätter samma miljö som resten av serien: en WordPress-sajt där du själv kan installera tillägg, alltså eget webbhotell eller en betalplan på wordpress.com som tillåter tillägg, med Yoast SEO i gratisversionen. Har du en annan SEO-plugin har de flesta en motsvarande filredigerare på ungefär samma ställe. Det är dessutom exakt den miljö experimentet körs i.
Steg 1: Se vad du har i dag
Öppna dindoman.se/robots.txt i webbläsaren. Ser du bara några rader om /wp-admin/, eller ett ”YOAST BLOCK” med Disallow: utan något efter? Då är allt öppet. Det är WordPress respektive Yoasts standard, och därför behöver du inte göra något alls om du vill fortsätta släppa in AI-robotarna.
Steg 2: Öppna filredigeraren i Yoast
Vill du ändra något gör du det enklast med tillägget Yoast SEO, eftersom gratisversionen räcker:
- Logga in i WordPress och klicka på Yoast SEO i menyn till vänster.
- Gå till Verktyg (Tools).
- Klicka på Filredigerare (File editor). Syns inte menyvalet har din webbleverantör stängt av filredigering, och då får du be dem om hjälp eller redigera filen via FTP.
- Klicka på Skapa filen robots.txt om du inte redan har en fil.
Steg 3: Lägg till regler, men bara om du vill blockera
Vill du exempelvis stoppa AI-träning men behålla synligheten i AI-svaren lägger du till detta, ovanför eller under det som redan står:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /Klicka sedan på Spara ändringar i robots.txt och kontrollera resultatet genom att ladda om dindoman.se/robots.txt i webbläsaren.
Rör inte raderna som redan finns, särskilt inte Sitemap:-raden och User-agent: *-blocket. En felskriven robots.txt kan nämligen i värsta fall blockera Google från hela sajten.
Räkna dessutom med fördröjning. OpenAI och Perplexity anger båda att det tar upp till ett dygn innan en ändring slår igenom hos dem.
Hur vet jag att det här stämmer?
Robotarnas namn och vad de gör kommer från AI-företagens egen dokumentation, länkad nedan, alltså inte från andrahandsuppgifter. Dessutom testar jag konsekvensen av mitt eget val i praktiken: den här sajten har allt öppet, och varje månad loggar jag om erkensten.se syns i svaren från ChatGPT, Perplexity, Gemini och Google. Resultaten publiceras öppet, oavsett utfall.
Det här var del tre. Föregående del handlar om llms.txt, filen som pekar ut ditt viktigaste innehåll för AI-tjänsterna. Hela serien finns samlad på sidan om AI-SEO.
Källor
- OpenAI: Overview of OpenAI Crawlers
- Google: List of Google’s common crawlers (senast uppdaterad 2026-07-14)
- Perplexity: Perplexity Crawlers
- Anthropic: Does Anthropic crawl data from the web? (daterad 2026-04-07)
- Yoast: The robots.txt file in Yoast SEO