Mikä on Robots.txt? - Accuranker
Ilmaiset Hub-resurssit
Robots.txt-tiedosto kertoo hakukoneiden indeksoijille, mitä URL-osoitteita indeksoijat voivat käyttää tai eivät voi käyttää verkkosivustolla. Sitä käytetään pääasiassa estämään hakukoneita tuhlaamasta indeksointibudjettia epäolennaisiin sivuihin. Robots.txt-tiedosto ei kuitenkaan estä hakukoneita indeksoimasta verkkosivuja.