Crawling

Hvad er crawling?

Crawling er når en søgemaskine, sender en søgerobot, f.eks. Googlebot, ind på en given side for at læse sidens indhold. Det er altså søgemaskinernes læsning af en side på din hjemmeside. 

Dermed ikke at forveksle det med indeksering, som er når søgemaskinerne har crawlet en side og herefter indekserer den og dermed viser den i søgeresultaterne.

Hvad får søgemaskinerne til at crawle en side?

Der findes lidt forskellige måder hvorpå søgemaskinernes crawlere kan finde frem til en side/URL og efterfølgende crawle den:

• Der findes et link til den pågældende side i hjemmesidens XML sitemap
• Der findes et internt link til den pågældende side på hjemmesiden
• Der findes et eksternt link til siden på en tredjeparts hjemmeside
• Stor stigning i trafik til den givne side

For at sikre dig, at dine sider bliver indekseret er det derfor en fordel at have opsat et XML sitemap for ens hjemmeside. På denne måde hjælper du søgemaskinerne med at finde frem til siderne på din hjemmeside, hvilket kan føre til at nye kategorier, produktsider, blogindlæg mv. i sidste ende bliver indekseret hurtigere.

Hvordan kan jeg se hvilke af min sider Google crawler/har crawlet?

Først og fremmest kan du få et godt indblik i hvilke af dine sider, som Google har crawlet/generelt crawler ved at gå ind i Google Search Console under “Dækning”:

Her kan du få et overblik over de sider på dit website som Google har crawlet, og du kan se om de er indekseret (gyldige), eller om de er ekskluderet fra indeksering af den ene eller den anden årsag.

En anden måde hvorpå du kan se hvilke sider Google crawler er ved at tjekke din hjemmesides serverlogs, og kigge efter Googlebot user agenten. Her vil du let kunne se, hvornår Googlebot har haft besøgt din hjemmeside, og hvilke sider den har besøgt.

Vil du sikre, at dine sider bliver korrekt crawlet og indekseret?

Udfyld formularen herunder, eller ring til os på 30 12 42 72 for at få hjælp til din SEO-strategi!