Vad är Robots.txt? - Accuranker
Gratis resurser för navet
I en robots.txt-fil anges vilka webbadresser på en webbplats som sökroboten får eller inte får komma åt. Den används främst för att förhindra att sökmotorer slösar bort sökbudgetar på oviktiga sidor. Robots.txt-filen hindrar dock inte webbsidor från att indexeras av sökmotorer.