Czym są dyrektywy Crawlera? - Accuranker

Dyrektywy crawlera informują wyszukiwarki, jak mają się zachowywać podczas indeksowania witryny. Przykładami dyrektyw crawlera są metatag robots, tag x-robots i plik robots.txt.