Kan det være testen, der er blokeret, og ikke AI-crawlere?

Testen bruger GPTBots rigtige user-agent-streng. Afvises den, afvises OpenAIs crawler på samme måde. Den eneste forskel er IP-adressen, og en regel, der kun tillader OpenAIs IP-blokke, er sjælden.

Er 429 ikke bare ”prøv igen”?

Ved første kald på en forside er 429 en regel, ikke belastning. Crawlere prøver ikke igen med det samme.

Hvad hvis kun robots.txt blokerer?

Så svarer serveren 200 til GPTBot, men filen beder den om at holde sig væk. Det er en anden diagnose med sin egen artikel: ”AI-crawlere og robots.txt”.

Det tekniskeUdgivet 6. september 2026Opdateret 13. september 20265 min læsning

Siden er online, men AI-crawlere får 401, 403 eller 429: sådan ser du det, og sådan retter du det

Skrevet af Viggo Weje · Citeret

Citerets gratis test henter din forside to gange: én gang som en almindelig browser, én gang som GPTBot. Får browseren siden, og får crawleren et nej, står det som diagnosen ”AI-crawlere er blokeret” - med begge HTTP-statuskoder og den user-agent, der blev afvist. Den her artikel er dét, diagnosen linker til.

Hvad de tre koder betyder

401 Unauthorized: serveren kræver login. Rammer crawlere, når hele sitet ligger bag en adgangskode - typisk en staging-side, der aldrig blev åbnet.
403 Forbidden: serveren kender besøget og siger nej. Det er den klassiske user-agent-blokering.
429 Too Many Requests: serveren afviser, fordi den mener, der kommer for mange kald. For AI-crawlere sker det ofte ved første kald, fordi reglen er sat til nul.

Hvorfor det er et problem for AI-synlighed

ChatGPT, Claude, Perplexity og Google AI Overviews kan kun citere det, deres crawlere har læst. Får GPTBot 403, findes din side ikke for ChatGPT - uanset hvor god den er. Konkurrenter, der ikke blokerer, bliver nævnt i stedet.

Det er samtidig den mest dokumenterbare fejl i hele testen: to hentninger af samme adresse, to forskellige svar. Tallene står i testresultatet, så du kan sende dem videre.

Hvor reglen typisk sidder

Cloudflare: Security > WAF > Custom rules, eller Bots > Bot Fight Mode. Se artiklen om Cloudflare for den præcise vej.
WordPress-sikkerhedsplugins (Wordfence, iThemes, All In One WP Security): en ”Block bad bots”- eller ”Blocked user agents”-liste, hvor GPTBot ofte er tilføjet af en skabelon.
Apache .htaccess eller Nginx-konfiguration: en RewriteCond eller en if-blok på HTTP_USER_AGENT.
Hostingens egen firewall (Imunify360, Sucuri): en generisk regel mod ”ukendte bots”.

Sådan retter du det selv

Find reglen ved at søge efter GPTBot, ClaudeBot eller ”bot” i de steder ovenfor.
Tilføj de navngivne AI-crawlere som tilladte: GPTBot, ClaudeBot, Claude-Web, PerplexityBot, Google-Extended, CCBot, Bytespider, Applebot-Extended, Amazonbot og meta-externalagent.
Slå ikke hele beskyttelsen fra - tillad kun de navngivne crawlere. Den beskytter stadig mod alt andet.
Kør testen igen. Diagnosen skal skifte til ”AI'erne kan læse din side”, og statuskoden for GPTBot skal være 200.

Hvad Citeret kan gøre

Jeg sender de to statuskoder og den afviste user-agent til dit bureau eller din hosting med den præcise regel, der skal ændres - og følger op, til testen er grøn. Du skal ikke selv finde reglen eller forklare, hvad en user-agent er.

Ofte stillede spørgsmål

Kan det være testen, der er blokeret, og ikke AI-crawlere?: Testen bruger GPTBots rigtige user-agent-streng. Afvises den, afvises OpenAIs crawler på samme måde. Den eneste forskel er IP-adressen, og en regel, der kun tillader OpenAIs IP-blokke, er sjælden.
Er 429 ikke bare ”prøv igen”?: Ved første kald på en forside er 429 en regel, ikke belastning. Crawlere prøver ikke igen med det samme.
Hvad hvis kun robots.txt blokerer?: Så svarer serveren 200 til GPTBot, men filen beder den om at holde sig væk. Det er en anden diagnose med sin egen artikel: ”AI-crawlere og robots.txt”.