Vad är Crawler-direktiv? - Accuranker
Gratis resurser för navet
Direktiven för sökrobotar talar om för sökmotorerna hur de ska bete sig när de genomsöker och indexerar din webbplats. Exempel på direktiv för sökrobotar är metataggen robots, taggen x-robots och filen robots.txt.