Hva er Crawler-direktiver? - Accuranker
Gratis Hub-ressurser
Crawler-direktiver forteller søkemotorene hvordan de skal oppføre seg når de crawler og indekserer nettstedet ditt. Eksempler på crawler-direktiver er metataggen robots, taggen x-robots og filen robots.txt.