En AI-crawler er en bot, som et AI-firma bruger til at besøge og læse websites. Indholdet bruges enten til at træne sprogmodeller eller til at hente svar frem, når en bruger stiller et spørgsmål.
Eksempler på AI-crawlere
GPTBot og OAI-SearchBot fra OpenAI, som står bag ChatGPT
ClaudeBot fra Anthropic, som står bag Claude
PerplexityBot fra Perplexity
Google-Extended, som ikke er en selvstændig crawler, men en indstilling, der styrer, om Google må bruge dit indhold til sine AI-modeller
Hvordan adskiller de sig fra Googlebot?
Googlebot indekserer dit website til Googles søgeresultater. AI-crawlere samler indhold til AI-tjenester. Nogle bruges til træning, andre til at søge i realtid, når en bruger spørger.
Skal du blokere AI-crawlere?
Det bestemmer du selv i din robots.txt. Blokerer du dem, kan AI-tjenesterne have sværere ved at læse og citere dine sider. Vil du være synlig i AI-svar, bør du som udgangspunkt give adgang til de crawlere, der bruges til søgning. Tjek også, at dit website ikke blokerer dem ved en fejl, fx gennem en firewall.
Kan AI'erne læse dit website?
Searchmind tjekker den tekniske adgang for AI-crawlere som en del af arbejdet med AI-synlighed. Læs mere om GEO og AEO hos Searchmind.
Skriv til os
Vil du vide, om AI'erne kan læse dit website? Udfyld formularen, så vender vi tilbage.