Qu'est-ce que Robots.txt ? - Accuranker
Ressources gratuites du Hub
Un fichier robots.txt indique aux robots des moteurs de recherche les URL auxquelles ils peuvent ou ne peuvent pas accéder sur un site web. Il est principalement utilisé pour empêcher les moteurs de recherche de gaspiller des budgets d'exploration sur des pages sans importance. Le fichier robots.txt n'empêche cependant pas les pages web d'être indexées par les moteurs de recherche.