Hva er Robots.txt? - Accuranker
Gratis Hub-ressurser
En robots.txt-fil forteller søkemotorens crawlere hvilke nettadresser de har tilgang til og ikke tilgang til på et nettsted. Den brukes hovedsakelig for å forhindre at søkemotorer kaster bort crawl-budsjetter på uviktige sider. robots.txt-filen forhindrer imidlertid ikke at nettsidene indekseres av søkemotorer.