Wat is Robots.txt? - Accuranker
Gratis Hub Hulpmiddelen
Een robots.txt-bestand vertelt zoekmachines welke URL's op een website wel of niet toegankelijk zijn voor de crawler. Het wordt voornamelijk gebruikt om te voorkomen dat zoekmachines crawlbudget verspillen aan onbelangrijke pagina's. Het robots.txt-bestand voorkomt echter niet dat webpagina's worden geïndexeerd door zoekmachines.