Che cos'è il Robots.txt? - Accuranker
Risorse Hub gratuite
Un file robots.txt indica ai crawler dei motori di ricerca quali URL possono o non possono accedere a un sito web. Viene utilizzato principalmente per evitare che i motori di ricerca sprechino budget di crawling per pagine non importanti. Il file robots.txt, tuttavia, non impedisce alle pagine web di essere indicizzate dai motori di ricerca.