Betyder 403 i Citerets selvtest, at min hjemmeside er nede?

Nej. Siden fungerer fint for almindelige besøgende i en browser - 403 betyder, at en bot-beskyttelse specifikt afviser automatiske besøg uden browser-signaler. Det er præcis den samme afvisning, AI-crawlere møder.

Skal jeg slå Cloudflares bot-beskyttelse helt fra?

Nej, og det bør du ikke. Løsningen er at give de navngivne, verificerede AI-crawlere (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot m.fl.) en undtagelse - ikke at fjerne beskyttelsen mod skadelig trafik generelt.

Kan jeg selv se, hvilke bots der bliver blokeret?

Ja. I Cloudflare kan du under Security → Events se en log over afviste besøg og hvilken regel, der udløste blokeringen. Der kan du bekræfte, at det faktisk er en AI-crawlers user-agent, der bliver stoppet.

Hvor lang tid tager det, før ændringen virker?

I Cloudflare slår ændringer i Security-reglerne typisk igennem inden for få minutter. Test med curl eller en ny selvtest for at bekræfte det, frem for at gætte.

Teknisk GEOUdgivet 20. august 20265 min læsning

Hjemmesiden svarer 403 til AI-crawlere: sådan retter du bot-beskyttelsen

Skrevet af Viggo Weje · Citeret

Kører du den gratis selvtest på Citeret og får beskeden om, at siden 'afviser automatiske besøg (HTTP 403)', er det ikke en fejl i testen - det er et fund. Testen besøger siden som en almindelig, navngiven bot, præcis som en AI-crawler ville gøre det. Svarer siden 403, lukker den samtidig af for de crawlere, der afgør, om du bliver citeret i ChatGPT, Perplexity og de andre AI-søgemaskiner. Her er, hvad der sker, og hvordan du retter det.

Hvorfor svarer siden 403?

403 Forbidden betyder, at serveren aktivt afviser besøget - domænet er stavet rigtigt, siden findes, men noget foran den siger nej. Det er næsten altid et bevidst filter, ikke en fejl på din side.

Langt de fleste tilfælde skyldes en af tre ting:

Cloudflare (Bot Fight Mode eller Super Bot Fight Mode) - langt den mest almindelige årsag. Cloudflare ligger foran en stor del af alle danske hjemmesider, og bot-beskyttelsen er ofte slået til med standardindstillinger.
En anden CDN eller WAF, fx Sucuri, Imunify360 eller AWS WAF, med tilsvarende bot-filtre.
Et sikkerhedsplugin i CMS'et, fx Wordfence eller lignende på WordPress, der blokerer ukendte user-agents.

Hvorfor det rammer din AI-synlighed

Bot-beskyttelsen kan sjældent se forskel på en ondsindet bot og en legitim AI-crawler - begge dele ligner "ikke en browser" for filteret. Så når du beskytter dig mod skrabere og angreb, lukker du typisk også af for GPTBot, ClaudeBot, PerplexityBot og OAI-SearchBot.

Konsekvensen er konkret: kan disse crawlere ikke hente siden, kan den heller ikke indgå i AI-svarene. Du forsvinder ikke gradvist - du er usynlig fra dag ét, uanset hvor godt resten af siden er skrevet.

Sådan retter du det i Cloudflare

Løsningen er ikke at slå bot-beskyttelsen helt fra - det er stadig værd at stoppe skadelig trafik. Løsningen er at give de kendte, verificerede AI-crawlere en undtagelse.

Log ind på Cloudflare-dashboardet og find domænet under Security → Bots.
Er Super Bot Fight Mode slået til: sæt 'Definitely automated' til Allow i stedet for Block, eller opret en undtagelse for verificerede bots - Cloudflare klassificerer GPTBot, ClaudeBot og de øvrige store AI-crawlere som verificerede.
Vil du styre det mere præcist: opret en WAF custom rule under Security → WAF → Custom rules, der matcher på User Agent (fx indeholder "GPTBot", "ClaudeBot", "PerplexityBot", "OAI-SearchBot") og sætter handlingen til Skip eller Allow.
Gem ændringen og test igen efter et par minutter - Cloudflares regler slår igennem næsten øjeblikkeligt.

Kører du en anden CDN, WAF eller CMS-plugin

Princippet er det samme uanset system: find listen over blokerede eller udfordrede user-agents, og tilføj en undtagelse for de navngivne AI-crawlere.

Sucuri: under Firewall → Settings kan du hvidliste user-agents eller sætte adgangsregler pr. bot.
Wordfence (WordPress): under Firewall → Blocking kan du se og fjerne blokeringer af specifikke user-agents.
Andre WAF'er og sikkerhedsplugins har typisk en tilsvarende liste over 'blocked' eller 'challenged' user-agents - søg efter "user agent" eller "bot" i indstillingerne.
Er du i tvivl om, hvilket system der blokerer: spørg dit hosting- eller webbureau, hvilken CDN eller sikkerhedsløsning der ligger foran siden.

Sådan tester du, at det virker

Du behøver ikke vente på en rigtig AI for at se, om ændringen virker - du kan efterligne en crawler selv.

Kør curl -A "GPTBot" -I https://dit-domæne.dk/ fra en terminal og se, om svaret er 200 OK i stedet for 403.
Gentag med de andre user-agents, du har tilføjet undtagelser for (fx "ClaudeBot", "PerplexityBot").
Kør Citerets gratis selvtest på dit domæne igen - beskeden om afviste automatiske besøg forsvinder, så snart bot-beskyttelsen giver adgang.

Ofte stillede spørgsmål

Betyder 403 i Citerets selvtest, at min hjemmeside er nede?: Nej. Siden fungerer fint for almindelige besøgende i en browser - 403 betyder, at en bot-beskyttelse specifikt afviser automatiske besøg uden browser-signaler. Det er præcis den samme afvisning, AI-crawlere møder.
Skal jeg slå Cloudflares bot-beskyttelse helt fra?: Nej, og det bør du ikke. Løsningen er at give de navngivne, verificerede AI-crawlere (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot m.fl.) en undtagelse - ikke at fjerne beskyttelsen mod skadelig trafik generelt.
Kan jeg selv se, hvilke bots der bliver blokeret?: Ja. I Cloudflare kan du under Security → Events se en log over afviste besøg og hvilken regel, der udløste blokeringen. Der kan du bekræfte, at det faktisk er en AI-crawlers user-agent, der bliver stoppet.
Hvor lang tid tager det, før ændringen virker?: I Cloudflare slår ændringer i Security-reglerne typisk igennem inden for få minutter. Test med curl eller en ny selvtest for at bekræfte det, frem for at gætte.