Hvordan ved jeg, om min robots.txt blokerer hele hjemmesiden?

Åbn ditdomæne.dk/robots.txt og se efter linjen «Disallow: /» under «User-agent: *». Den blokerer hele hjemmesiden for alle crawlere - en klassisk fejl, der overlever fra en udviklings- eller testopsætning og gør siden usynlig i både Google og AI-svar. Står den der ved en fejl, skal den fjernes. Vil du kun blokere enkelte stier (fx /kurv eller /login), skal de angives specifikt i stedet.

Blokerer robots.txt AI'er fra at kende min virksomhed?

Ikke helt - AI'er kan stadig kende dig fra andre kilder, der omtaler dig. Men uden adgang til din egen side kan de ikke citere dine egne ord, priser og fakta, og du overlader fortællingen til andre.

Påvirker Google-Extended min placering i Google?

Nej. Google-Extended styrer kun brugen af dit indhold i Googles AI-modeller. Din almindelige indeksering og placering styres af Googlebot - dem må du ikke forveksle.

Kan jeg tillade nogle AI-bots og blokere andre?

Ja. robots.txt styres pr. user-agent, så du kan fx tillade PerplexityBot og OAI-SearchBot (søgning med citat og link) og blokere rene trænings-bots. Det er en helt legitim mellemvej.

Teknisk GEOUdgivet 12. juli 2026Opdateret 16. juli 20266 min læsning

AI-crawlere og robots.txt: hvem læser din side - og lukker du dem inde eller ude?

Skrevet af Viggo Weje · Citeret

Mange virksomheder blokerede AI-crawlere i refleks, da de dukkede op - og opdager nu, at de er usynlige i ChatGPT og Perplexity. Andre aner ikke, hvem der crawler dem. Din robots.txt er kontraktens småskrift: den afgør, hvem der må læse dig, og dermed hvem der kan citere dig. Her er de vigtigste bots, og hvordan du sætter adgangen rigtigt.

De vigtigste AI-crawlere

Hver AI-virksomhed har sine egne bots, og de gør ikke det samme. De vigtigste at kende:

GPTBot (OpenAI): henter indhold, der kan indgå i ChatGPTs viden og svar.
OAI-SearchBot (OpenAI): bruges til ChatGPTs websøgning - vigtig, hvis du vil nævnes i live-svar.
ClaudeBot (Anthropic): henter indhold til Claude.
PerplexityBot (Perplexity): crawler til Perplexitys AI-søgemaskine, der citerer kilder direkte.
Google-Extended: styrer om dit indhold må bruges til Googles AI-modeller - IKKE din almindelige Google-indeksering.
Googlebot og Bingbot: de klassiske søgecrawlere - blokér dem aldrig, hvis du vil findes.

Sådan virker robots.txt

robots.txt er en lille tekstfil i roden af dit domæne (ditdomæne.dk/robots.txt), der fortæller crawlere, hvad de må. Hver bot identificerer sig med et navn (user-agent), og du giver eller nægter adgang pr. bot og pr. sti.

Vigtigt at forstå: robots.txt er en anmodning, ikke en lås. Seriøse aktører respekterer den - men den beskytter ikke fortroligt indhold. Hemmeligheder skal bag login, ikke bag robots.txt.

Skal du tillade eller blokere AI-crawlere?

Det afhænger af din forretning - men for de fleste virksomheder er svaret klart:

Vil du findes og anbefales i AI-svar? Tillad AI-crawlerne på dine offentlige sider. Det er hele præmissen for GEO.
Lever du af at sælge selve indholdet (medier, kurser)? Så kan det give mening at blokere trænings-bots som GPTBot, men tillade søge-bots som OAI-SearchBot og PerplexityBot, der citerer med link.
Blokér altid alle crawlere fra private stier: login, kurv, interne sider og delte dokumenter.
Blokér aldrig i tvivl 'for en sikkerheds skyld' - usynlighed i AI-svar er den reelle pris.

Tjek din egen robots.txt nu

Tre minutters kontrol, der kan afgøre din AI-synlighed:

Åbn ditdomæne.dk/robots.txt og læs, hvad der faktisk står.
Se efter 'Disallow: /' under en AI-bots user-agent - det er en total blokering.
Tjek at private stier ER blokeret, og offentligt indhold IKKE er.
Overvej at supplere med en llms.txt-fil, der peger AI'er mod dit vigtigste indhold.
Gentag tjekket efter større ændringer på siden - CMS'er og plugins kan overskrive filen.

Ofte stillede spørgsmål

Hvordan ved jeg, om min robots.txt blokerer hele hjemmesiden?: Åbn ditdomæne.dk/robots.txt og se efter linjen «Disallow: /» under «User-agent: *». Den blokerer hele hjemmesiden for alle crawlere - en klassisk fejl, der overlever fra en udviklings- eller testopsætning og gør siden usynlig i både Google og AI-svar. Står den der ved en fejl, skal den fjernes. Vil du kun blokere enkelte stier (fx /kurv eller /login), skal de angives specifikt i stedet.
Blokerer robots.txt AI'er fra at kende min virksomhed?: Ikke helt - AI'er kan stadig kende dig fra andre kilder, der omtaler dig. Men uden adgang til din egen side kan de ikke citere dine egne ord, priser og fakta, og du overlader fortællingen til andre.
Påvirker Google-Extended min placering i Google?: Nej. Google-Extended styrer kun brugen af dit indhold i Googles AI-modeller. Din almindelige indeksering og placering styres af Googlebot - dem må du ikke forveksle.
Kan jeg tillade nogle AI-bots og blokere andre?: Ja. robots.txt styres pr. user-agent, så du kan fx tillade PerplexityBot og OAI-SearchBot (søgning med citat og link) og blokere rene trænings-bots. Det er en helt legitim mellemvej.