Was ist Robots.txt? - Accuranker
Kostenlose Hub-Ressourcen
Eine robots.txt-Datei teilt den Suchmaschinen-Crawlern mit, auf welche URLs einer Website der Crawler zugreifen darf und auf welche nicht. Sie wird hauptsächlich verwendet, um Suchmaschinen daran zu hindern, Crawl-Budgets für unwichtige Seiten zu verschwenden. Die robots.txt-Datei verhindert jedoch nicht, dass Webseiten von Suchmaschinen indiziert werden.