Robots.txt란 무엇인가요? - Accuranker

무료 허브 리소스

robots.txt 파일은 검색 엔진 크롤러에게 크롤러가 웹사이트에 액세스할 수 있거나 액세스할 수 없는 URL을 알려줍니다. 이 파일은 주로 검색 엔진이 중요하지 않은 페이지에 크롤링 예산을 낭비하지 않도록 하는 데 사용됩니다. 그러나 robots.txt 파일은 검색 엔진이 웹페이지를 색인화하지 못하도록 막지는 않습니다.

뒤로