¿Qué es Robots.txt? - Accuranker

Un archivo robots.txt indica a los rastreadores de los motores de búsqueda a qué URL pueden o no acceder en un sitio web. Se utiliza principalmente para evitar que los motores de búsqueda malgasten presupuesto de rastreo en páginas sin importancia. Sin embargo, el archivo robots.txt no impide que los motores de búsqueda indexen las páginas web.