robot.txt차단됨1

• 

  구글 검색 robots.txt에 의해 차단됨 해결방법 robots.txt가 뭔가 눈에 자주 띕니다. 이것을 해결하기 위해 robots.txt의 역할을 간단하게 공부를 해봐야 할 것 같습니다. 이 robots.txt는 네이버 검색 등록을 할 때 만나보기는 했습니다. 이 파일은 검색엔진 정보수집을 해도 되는 페이지 인지, 해서는 안 되는 페이지 인지 알려주는 역할을 하는 코드입니다. 데이터베이스 수집을 하는 크롤러가 판단을 하는데 이 크롤링 과부하라는 오류도 많이 보셨을 겁니다. 해야 할게 뭔가 많네요. 그러면 논리적으로 robots.txt에 의해 차단 됐다는 것은 이 파일에 의해 크롤러가 데이터베이스 수집을 하지 않는다라고 보입니다. 그러면 검색엔진에서 불리한 포지션을 가져갈 것 같습니다. robots.txt의 문법은 어렵지 않은데 공부를 한다면 사실 어렵습.. 소소한 블로그 운영 방법/블로그 각종 오류 해결 방법 2022. 12. 18.