O que é o Robots.txt? - Accuranker
Recursos gratuitos do Hub
Um ficheiro robots.txt indica aos rastreadores dos motores de busca quais os URLs a que estes podem ou não aceder num sítio Web. É utilizado principalmente para evitar que os motores de busca desperdicem orçamentos de rastreio em páginas sem importância. No entanto, o ficheiro robots.txt não impede que as páginas Web sejam indexadas pelos motores de busca.
