Wat zijn Crawler-richtlijnen? - Accuranker

Crawler directives vertellen zoekmachines hoe ze zich moeten gedragen bij het crawlen en indexeren van uw website. Voorbeelden van crawler directives zijn de robots meta tag, de x-robots tag en het robots.txt bestand.