1개의 이야기가 있습니다.

robots.txt 사용하기 (검색엔진 로봇 배제하기)

IT
로봇배제란 말그대로 웹 문서를 수집해 가는 로봇을 배제한다는 뜻입니다.로봇의 배제와 관련된 내용을 적어놓는 파일이 robots.txt 입니다.이 robots.txt파일은 사이트의 최상위주소에 저장을 해야 효력을 발생합니다. 다른 서브 디렉토리에 저장을 하게 된다면 전혀 효력을 갖지 못합니다. 로봇은 오직 루트디렉토리의 robots.txt만을 참조할 뿐입니다.로봇의 접근을 어디까지 허용할 것이냐에 따라 robots.txt에 들어가는 내용이 달라집니다...

티스토리 툴바