O que são as Directivas Crawler? - Accuranker
Recursos gratuitos do Hub
As directivas de rastreio indicam aos motores de busca como se devem comportar quando rastreiam e indexam o seu sítio Web. Exemplos de directivas de rastreio são a meta tag robots, a tag x-robots e o ficheiro robots.txt.