Robots.txt nedir? - Accuranker
Ücretsiz Hub Kaynakları
Bir robots.txt dosyası, arama motoru tarayıcılarına, tarayıcının bir web sitesinde hangi URL'lere erişebileceğini veya erişemeyeceğini söyler. Esas olarak arama motorlarının tarama bütçelerini önemsiz sayfalarda harcamasını önlemek için kullanılır. Ancak robots.txt dosyası web sayfalarının arama motorları tarafından dizine eklenmesini engellemez.
