그렇게 둘러보는 과정이 crawl 이라고 보시면 되고, 그 행위를 하는 주체가 crawler 또는 봇(Bot)이 되는 거겠죠.

내 블로그와 글들이 검색엔진에 등록되어 널리 알려지는건 더할 나위없이 좋은 일이겠지만, 꼭 그 주체가 검색엔진 뿐만이 아니라는게 또 하나의 문제입니다. 대다수의 스패머들이 검색 엔진의 봇을 타고 들어와서 스팸을 날려대곤 합니다.

간단한 예로, 제 블로그의 경우 접속자의 User-Agent 정보 또는 IP가 봇 또는 Crawler 로 판단되는 경우 글 등록 행위(POST)를 못하도록 막아두었는데, 이로 인해 막아내는 스팸 트랙백의 갯수가 하루에 50~60여건이 되더군요. 스팸 댓글의 경우는 그 외에도 이런 저런 경로를 통해 많이 등록되지만, 스팸 트랙백의 경우는 이 설정을 적용 후 1년동안 한 두건 정도밖에 등록되지 않았습니다. 이 50~60건의 경우도 제가 다수의 검색엔진이나 스팸 봇들의 접속 자체를 막아버렸기 때문에(GET, POST 모두) 그나마 그 정도인 거겠죠.

예전에는 단일 스패머로 보이는(스팸 내용이나 등록된 URL로 미루어보아) 놈이 한번에 100개 가량의 스팸 트랙백을 등록 한 적도 있었는데, 그 때 접속했던 아이피들이 구글봇의 것이었습니다. 그 후에는 네이버의 봇 아이피를 통해서 한 놈이 30개 가량의 스팸을 한번에 등록 한 적도 있었죠. 그 외에도 말레이시아의 몇몇 아이피가 시도한 스팸 등록의 횟수가… 1년동안 1만개가 넘어가더군요 ㅡ_ㅡ;

에고… 얘기가 다른데로 새 버렸네요. 워낙에 스팸에 질려버린지라 비스무리한 얘기가 나오니까 바로 새어나가 버리네요 ^^;

"날퍼"라는 닉으로 봐서 제 블로그에 댓글 남기셨던 분 같은데, 맞으시죠?

wp-slimstat-ex 플러그인을 사용하신다면 Pin 중에서 Miscellaneous(SS_ETC)를 설치해 보시면, Top Spam Commnet IP, Top Spam Trackback IP 정보를 확인 하실 수 있습니다.

그 중에서 스팸 등록 시도가 너무 많은 아이피들은 아이피 정보를 확인 해 보고, .htaccess 에서 접속을 막을 수도 있습니다.

방문자 통계를 집계할 때 구글 봇이나 Crawler라는 것으로 한 아이피로 엄청난 히트를 기록하는데

이런 것들은 어떤 것들인가요?

봇이라는 개념을 알긴아는데 정확히 이런 봇들이 어떤 일이 하고 Crawler라는 것이 어떤 것인지 알고 싶습니다. 게시판을 잘 찾아 온게 맞을까요..?

워드프레스와는 조금 관련지 없지만 궁금한 사항을 답변해주시면 감사하겠습니다 ㅠㅠ

행복한 시간되세요. X-D

방문자 통계를 집계할 때 구글 봇이나 Crawler라는 것으로 한 아이피로 엄청난 히트를 기록하는데

이런 것들은 어떤 것들인가요?

봇이라는 개념을 알긴아는데 정확히 이런 봇들이 어떤 일이 하고 Crawler라는 것이 어떤 것인지 알고 싶습니다. 게시판을 잘 찾아 온게 맞을까요..?

워드프레스와는 조금 관련지 없지만 궁금한 사항을 답변해주시면 감사하겠습니다 ㅠㅠ

행복한 시간되세요. X-D