한글로 답변 하겠습니다 😉

완벽하게 crawler를 막을 수는 없습니다. 가장 대표적인 방법은 robots.txt파일을 사용하는겁니다. robots.txt파일에 거부하거나 허용할 crawler를 지정해서 웹사이트의 루트폴더에 두면, robots.txt를 인정하는 crawler들은 더이상 접근을 하지 않지만 많은 crawler들이 이것을 무시하고 있죠.

아래 링크된 페이지를 통해 쉽게 robots.txt파일을 만들 수 있습니다.
http://www.mcanerin.com/EN/search-engine/robots-txt.asp

두번째 방법은 mod_rewrite(apache) 모듈을 사용 할 경우 .htaccess파일에서 crawler의 user-agent 나 아이피(ip)를 차단하는 방법이 있습니다.

아래 링크들은 .htaccess파일을 이용하는 예제입니다.
http://www.ilovejackdaniels.com/apache/block-referrer-spam/
http://www.javascriptkit.com/howto/htaccess13.shtml

그 외에도 referer karma라는 프로그램을 이용하는 방법도 있습니다. 프로그램인 만큼 버그도 있지만 그만큼 편하게 사용 할 수 있습니다.

위 방법들중 완벽하게 차단할 수 있는 방법은 없지만 어느정도 만족할 만한 결과를 얻으실 수는 있을겁니다.