Hvad er Crawler-direktiver? - Accuranker
Gratis ressourcer til hubben
Crawler-direktiver fortæller søgemaskinerne, hvordan de skal opføre sig, når de crawler og indekserer din hjemmeside. Eksempler på crawler-direktiver er robots-metatagget, x-robots-tagget og robots.txt-filen.