Qu'est-ce qu'une directive Crawler ? - Accuranker

Les directives pour les robots indiquent aux moteurs de recherche comment se comporter lorsqu'ils explorent et indexent votre site web. La balise méta robots, la balise x-robots et le fichier robots.txt sont des exemples de directives pour les robots.