방법 1. 웹로봇 배제 표준(Robot Exclusion Standard)에 의한 방법
- 웹로봇의 수집과 검색노출을 원치 않는 경우, 우선 해당 웹페이지가 위치한 최상위 디렉토리에 아래의 내용이 포함된 robots.txt 파일을 저장하시기 바랍니다.
User
-Agent:*
Disallow:/
만약 웹로봇이 방문한 이후에 robots.txt 의 로봇배제관련 표준이 적용되었다면, 검색결과에 적용되기까지는 다소 시간이 걸릴 수 있습니다. 자세한 로봇배제에 대한 표준은
www.robotstxt.org 를 통해 알 수 있습니다.
- 특정한 페이지에 대해 웹로봇의 색인이나 링크분석을 막고 싶은 때는 경우에 따라 아래와 같은 메타태그를 HTML 문서의 <HEAD> 부분에 추가하시면 됩니다.
웹페이지를 검색결과에 노출하고 싶지 않을 때
<META NAME="robots" ConTENT="noindex">
웹페이지 내에 포함된 링크를 따르는 수집도 막고 싶을 때 <META NAME="robots" ConTENT="noindex, nofollow">
