AI-SEO

Ny gemensam AI-träningskontroll i robots.txt: vad sajtägare behöver veta

Sven Erkensten, IT-konsult och fotograf i Nässjö

Sven Erkensten · IT-konsult, Nässjö


Den 30 oktober 2026 enades Google, Microsoft, OpenAI och Anthropic om att läsa samma rad i robots.txt när en sajt vill tacka nej till att träna framtida AI-modeller. Raden heter __usage_ai-training och är ett förslag till IETF, inte ett beslut. Anthropic säger att de följer signalen från 30 oktober 2026, de tre andra hänvisar till 2027. Du behöver alltså inte göra något nu om du inte vill blockera Anthropics träning, men det är bra att veta vad som kommer och i vilken ordning.

Den här artikeln beskriver vad den nya kontrollen är, när den börjar gälla hos respektive företag, hur raden ser ut, och vad som gäller parallellt tills dess.

Vad det nya är

Kontrollen är en policy-tagg som skrivs in i den vanliga robots.txt-filen. Den heter __usage_ai-training och fungerar som ett eget User-Agent-namn, med understreck i början. Specifikationen ligger som ett Internet-utkast hos IETF, skrivet av Kevin Kelley på Anthropic och publicerat 30 oktober 2026 (draft-kelley-aipref-training-preference-signal-00).

Så här ser syntaxen ut, ordagrant ur utkastet:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Exemplet säger att hela sajten undanbes från AI-träning, utom katalogen /press-kit/ som tillåts. Precis som i vanlig robots.txt gäller längsta matchande rad.

Två saker ur utkastet är viktiga för hur raden fungerar:

  1. Blocket User-Agent: * räknas inte som en preferens. Utkastet säger ordagrant att generella wildcard-grupper "MUST NOT be interpreted as matching the policy token." Du måste alltså skriva ut __usage_ai-training själv om du vill använda den.
  2. Taggen är inte ett direktiv för crawling. Utkastet, sektion 4.4: "This policy token is not a directive for crawling behavior." Robotarna kan alltså fortsätta hämta sidan som vanligt, men de uttrycker en önskan om vad som får göras med innehållet.

Med andra ord: en sajtägare som sätter Disallow: / under __usage_ai-training säger "jag vill inte att mitt innehåll används för träning", inte "sluta hämta mig". Det liknar hur Google-Extended fungerar i dag.

När kontrollen börjar gälla

Tidplanen, enligt företagens egna meddelanden:

Anthropic. Anthropic skrev själva utkastet och är först på plan. Anthropics support-artikel "Does Anthropic crawl data from the web, and how can site owners block the crawler?" säger: "As of October 30, 2026, Anthropic has begun recognizing a machine-readable signal" och beskriver den som "a new preference signal that lets website owners say 'no AI training'." Anthropic länkar till IETF-utkastet som grund. Samma sida säger att regler som nämner Anthropics egen träningscrawler ClaudeBot har företräde: "If your robots.txt file names ClaudeBot, we follow that rule, even if your general setting says something different." Och omvänt: "If your robots.txt file doesn't mention ClaudeBot, we follow the general setting described above." Det betyder: en rad User-Agent: ClaudeBot / Disallow: / är mer specifik och vinner över __usage_ai-training.

Google. John Mueller, Google Search Advocate, i inlägget "Supporting a shared AI training control for websites" på developers.google.com/search/blog 30 oktober 2026: "We aim to support this new control along with other AI providers in 2027, and will provide updates on our progress." Exakt månad finns inte. En viktig förtydligare i samma inlägg: "When a website uses this policy token to opt out of training in its robots.txt file (and Google-Extended is not explicitly specified), Google plans to interpret that as if the publisher had disallowed Google-Extended." Att skriva __usage_ai-training utan att nämna Google-Extended innebär alltså att Google också läser Google-Extended som avstängd.

Microsoft Bing. Krishna Madhavan, Principal Product Manager på Microsoft Bing, i blogginlägget "Your content, your choice: clearer preferences for training and grounding" 30 oktober 2026. Fyra datum:

  • 15 december 2026: tillfälliga grounding-övergångspreferenser öppnas i Bing Webmaster Tools för sajter som använder NoArchive eller NoCache.
  • 1 februari 2027: Microsoft börjar följa de nya preferenserna när Bingbot crawlar.
  • 1 mars 2027: deadline för att behålla grounding-begränsningar, för sajter på de gamla direktiven.
  • 30 september 2027: tillfälliga grounding-preferenser upphör. Microsoft skriver ordagrant: "For each page, the temporary preference applies until recrawl or September 30, 2027, whichever is earlier."

OpenAI. OpenAIs inlägg "Enklare för webbplatser att ange önskemål om AI-träning" på openai.com/index/helping-websites-express-ai-training-preferences/ 30 oktober 2026, i OpenAIs egen svenska översättning: "Vi siktar på att införa stöd för signalen under de kommande månaderna och kommer då att dela en ny uppdatering med detaljer om hur vi har implementerat den." Skarpt datum saknas. Samma inlägg betonar att de egna kontrollerna fortsätter: "Den nya signalen kommer inte att ersätta de kontrollmöjligheter vi redan erbjuder via robots.txt. Våra befintliga inställningar för sökrobotar ... kommer även fortsättningsvis att gälla och respekteras." Länken går till developers.openai.com/api/docs/bots.

Utkastet går ut 3 maj 2027. Det är en formell regel för Internet-Drafts och säger inget om när företagen själva börjar följa raden.

Vad som fortfarande gäller

Det här ersätter inte dagens kontroller, utan läggs ovanpå dem. John Mueller på Google är tydlig i inlägget 30 oktober 2026: "Existing company-specific controls will continue to function alongside this new joint signal. So website owners can easily express a broad choice using the industry signal, while also tailoring their instructions to individual AI developers like Google through controls such as Google-Extended."

De kontroller som fortsatt fungerar i dag, och som sajten redan beskriver i artikeln /ai-robotar-robots-txt/:

  • GPTBot för OpenAIs träning
  • ClaudeBot för Anthropics träning
  • Google-Extended för Googles Gemini-träning OCH underlag i Gemini-appen
  • OAI-SearchBot, PerplexityBot, Claude-SearchBot för respektive söktjänst
  • ChatGPT-User, Perplexity-User, Claude-User för direkthämtning åt en människa

Dessa påverkar inte varandra. När den nya __usage_ai-training är igång hos ett företag kommer det att finnas två vägar att säga samma sak: den gemensamma policy-taggen eller företagets eget bot-namn. Vilken som gäller när båda finns är företagens ensak. Anthropic skriver uttryckligen att ClaudeBot vinner över den generella signalen. Google säger att de två fungerar parallellt och att en __usage_ai-training-rad utan Google-Extended-nämning tolkas som Google-Extended Disallow.

Två saker som Microsoft särskilt flaggar i sitt eget inlägg:

  1. Microsofts egna gamla NoArchive och NoCache byts ut. Krishna Madhavan skriver: "These preferences will replace existing Microsoft preferences NoArchive and NoCache for training and grounding", och: "after that date, NoArchive and NoCache will no longer be read as a preference for training or grounding". "That date" syftar på 1 mars 2027. Har du de gamla direktiven kvar behöver du flytta över dem senast då.
  2. Microsoft använder två nivåer för grounding, och de ligger INTE i robots.txt. Krishna Madhavan: "There is no site-wide robots.txt grounding preference." I stället sätts grounding per sida, med <meta name="Bingbot" content="ai-grounding:disallow"> eller HTTP-huvudet X-Robots-Tag: Bingbot: ai-grounding:disallow. För en strängare variant finns ai-grounding:disallowextended. Bing Webmaster Tools används bara för den tillfälliga övergångspreferensen mellan 15 december 2026 och 30 september 2027.

Grounding är Microsofts ord för när AI-tjänsten hämtar din sida som underlag till ett svar, inte när din sida används i träning. Enligt Madhavan gäller grounding-begränsningen mot Microsofts egna AI-upplevelser.

Blir sajten osynlig i AI-svaren om jag använder raden?

Nej, det är inte meningen, men gränserna är inte skarpa.

Google. John Mueller, 30 oktober 2026: "Websites that specifically allow Google-Extended are eligible to appear in responses and receive clicks via grounding in Gemini Apps." Det betyder att Google kopplar Google-Extended till underlag i Gemini-appen, inte till synligheten i Google-sökningen. Det är ingen förändring mot det Google redan säger på sin egen sida om Google-Extended. AI-översikter och AI-läge i Google-sökningen styrs separat via Search Console, Inställningar, Generativ AI i Sök.

Microsoft Bing. Krishna Madhavan: "These usage preferences do not change eligibility for traditional Bing search results, subject to normal crawl and indexing requirements." Samma inlägg varnar om grounding: "If you select DisallowExtended or Disallow for grounding, you will see reduced brand visibility in AI experiences." Att blockera träning behöver alltså inte påverka din placering i Bings organiska resultat, men att blockera grounding gör det, i Microsofts egna AI-svar.

OpenAI. OpenAIs inlägg nämner inte uttryckligen någon synlighetseffekt i ChatGPT-sök. De skriver bara att den gemensamma signalen inte ersätter OpenAIs befintliga crawler-kontroller. För synlighetsstyrning i ChatGPT-sök gäller alltså fortsatt OAI-SearchBot enligt OpenAIs egen bot-dokumentation.

Anthropic. Anthropics support-artikel skiljer tre crawlers: ClaudeBot för träning, Claude-SearchBot för söktjänsten, Claude-User för hämtning åt en inloggad användare. Att sätta __usage_ai-training påverkar vad Anthropic får göra med innehållet (träning), inte om Claude-SearchBot eller Claude-User får hämta sidan. Vill du styra synligheten i Claude-tjänstens söksvar eller när en Claude-användare ber om just din sida behöver du de två botnamnen separat.

Praktiskt: om du använder __usage_ai-training för att slippa träning påverkar det inte din placering i Google-sökningen eller Bings organiska resultat. Om du också vill bort ur AI-översikter, AI-läge eller Gemini-appen behöver du de egna inställningarna hos respektive tjänst. Sajtens befintliga artikel /ai-robotar-robots-txt/ går igenom de inställningarna per tjänst.

Vad jag gör på min egen sajt

Ingenting förrän kontrollen är live hos minst ett företag jag vill blockera. Två skäl:

  1. Jag släpper medvetet in alla AI-tränare i dag. Det står i /ai-robotar-robots-txt/: sajten ska synas i både sökning och AI-svar, och de flesta företag kopplar synlighet till träningens spår. Så länge det är positionen behöver jag ingen __usage_ai-training-rad.
  2. Anthropic är redan igång, Google, Microsoft och OpenAI kommer under 2027. Lägger jag in raden nu gäller den omedelbart hos Anthropic, för de andra senare.

Jag följer utvecklingen. Första kontrollpunkten för de andra är 15 december 2026, då Microsoft lägger ut tillfälliga grounding-kontroller i Bing Webmaster Tools. Nästa är 1 februari 2027, när Bingbot börjar följa raden. Googles datum är "2027", OpenAIs "under de kommande månaderna", utan finare uppgift.

Säger IETF-utkastet att alla måste följa raden?

Nej. Utkastet är ett "Active Internet-Draft (individual)" i IETF-spåret, inte en RFC, inte en standard, inte godkänt av IETF. Datatrackern säger ordagrant: "This I-D is not endorsed by the IETF and has no formal standing in the IETF standards process." Utkastet beskriver en frivillig preferens. Att fyra företag säger att de kommer att följa den är det som gör den användbar, inte status hos IETF.

Google nämner också EU-kontexten i sitt eget inlägg: "This proposal is consistent with the EU Code of Practice for General Purpose AI (GPAI) Model Providers under the EU AI Act that recognizes robots.txt as a primary method for web publishers to express machine-readable preferences." Det är en bidragande orsak till att de fyra företagen ville ha en gemensam signal just nu.

Källor

Sven Erkensten, IT-konsult och fotograf i Nässjö

Sven Erkensten, IT-konsult och fotograf i Nässjö. Driver Erkensten AB, arbetar själv i hela kedjan, från kamera och sändning till kod och databas, och testar allt i den här guiden på sin egen sajt först.

Mer om Sven

Anlita mig som konsult

Behöver du förstärkning? Jag tar konsultuppdrag, hyr ut utrustning och erbjuder föreläsningar inom mina arbetsområden.

Hör gärna av dig via mejl med en kort beskrivning av vad du behöver hjälp med. Jag har ofta ett fullspäckat schema och kan därför inte alltid svara i telefon.


Erkensten konsult och foto AB · Org.nr 556839-5510 · Nässjö

Cookiepolicy · Integritetspolicy