Wat is Robots.txt? - Accuranker

Een robots.txt-bestand vertelt zoekmachines welke URL's op een website wel of niet toegankelijk zijn voor de crawler. Het wordt voornamelijk gebruikt om te voorkomen dat zoekmachines crawlbudget verspillen aan onbelangrijke pagina's. Het robots.txt-bestand voorkomt echter niet dat webpagina's worden geïndexeerd door zoekmachines.