[robots.txt 개발] 네이버(naver), 구글(google) robots.txt 설정해보자!

robots.txt이란??

웹 사이트에서 웹 크롤러(scrapy) 같은 로봇들의 접근이나 움직임을 제어하기 위한 규약입니다! 아직 권고안이기때문에 필수적으로 지킬 필요는 없구요~ 크롤러들은 주로 검색엔진들의 인덱싱 목적으로 사용되는데, 웹사이트들 입장에서도 더 많은 검색 노출을 원하는게 일반적이므로 딱히 막을 이유는 없기때문에 아주 많이 사용하진 않습니다~

그리고 robots.txt를 설정하는 방법과 연동할 수 있는 방법은 링크로 남겨보겠습니다.

https://baessi.tistory.com/5

저쪽은 spring이라 springboot에서 설정하는 방법이고요~ php에서 설정하는 방법은 index.php가 있는 ftp서버쪽에 직접 집어넣던지 아니면 php로 구성된 같은 폴더안에 집어 넣어주면 사이트 잘 찾아주던지 읽어주는 역활을 아주 잘 수행해줍니다!

그리고 요새는 robots.txt가 웹상에서 크롤링이나 스크래핑을 잘 해주게끔 되어있어서 응용해서 찾을 수 있어서 로봇 설정이나 개발을 더 잘하면 이쪽 분야에서 더 발전할 듯 합니다!

4 thoughts on “[robots.txt 개발] 네이버(naver), 구글(google) robots.txt 설정해보자!”