Robots.txt

Hvad er robots.txt?

Robots.txt er en fil med instruktioner til diverse webcrawlers, som f.eks. Googlebot. Det er den første fil, som søgemaskinerne vil forsøge at finde frem til på din hjemmeside, da den kan indeholde vigtige instruktioner som søgemaskinen er interesseret i at følge. Indenfor SEO er det en vigtig fil at kende til og sørge for er optimeret.

Hvad kan man bruge robots.txt filen til?

Du kan bruge robots.txt filen til at opsætte instruktioner til webcrawlere som f.eks. Googlebot, i forhold til hvilke sider på dit domæne, du ikke vil have crawles/besøges af webcrawlerne. 

Typisk benyttes robots.txt filen til at ekskludere sider fra søgemaskinerne, som ikke bør crawles. På denne måde kan man optimere sit crawl budget, og dermed sikre, at Google lægger sine kræfter på de sider, som er vigtige for din hjemmeside samt undgå, at unødige sider med duplicate content og tyndt indhold indekseres.

Hvordan opsætter jeg instruktioner i robots.txt?

Først og fremmest skal du selvfølgelig finde frem til din robots.txt fil. Denne vil være placeret i roden af dit webhotel og hedde “robots.txt” fil. Du bliver derfor nødt til forbinde til dit webhotel via FTP. 

Kan du ikke finde en “robots.txt” fil i roden af dit webhotel, skal du oprette din robots.txt fil. Dette gør du ved blot at placere en fil ved navnet “robots.txt” i roden af dit webhotel. 

Herefter er det tid til at opsætte instruktionerne i din robots.txt fil. 

Hvilke instruktioner og blokeringer der bør opsættes i en robots.txt fil vil altid afhænge af den enkelte case.  

Selve opsætningen af instruktionerne i robots.txt filen er lidt teknisk. Nedenstående vil f.eks. ekskludere alle sider på domænet fra at blive crawlet af samtlige crawlere.‍

User-agent: *

Disallow: /

‍

Som det kan ses specificerer man først og fremmest øverst hvilke webcrawlere instruktionerne henvender sig mod, i ovenstående tilfælde betyder stjernemarkeringen, at det er alle webcrawlere instruktionerne henvender sig til.

Under dette opsætter du så dine “allow” (tillad) og “disallow” (forbyd) regler. 

Vil du f.eks. ekskludere alle filer i undermappen “tag”, men tillade filen “udtalelse.html” i “tag” undermappen vil du indsætte følgende instruktion:

‍

User-agent: *

Disallow: /tag/

Allow:/tag/udtalelse.html

Disse disallow og allow regler kan altså kombineres på mange forskellige måder.

Der skal blot en enkelt tastefejl eller forkert disallow instruktion i din robots.txt fil til for at skabe stor ravage i din SEO. Du bør derfor være meget forsigtig hvis du begiver dig ind for at lave ændringer i den, og hellere lade helt være hvis du ikke er 100% sikker på hvad du laver.

Er du i tvivl om, hvilke instruktioner du bør sætte op i din robots.txt, eller om du overhovedet bør opsætte nogle instruktioner?

Kontakt os på 30 12 42 72, så undersøger vi gerne, hvilke instruktioner vi mener, du bør opsætte eller fjerne fra din robots.txt-fil!