Home 게시판 커뮤니티 Q&A 호스팅 서버 과부하 현상

2개 답변, 1 voice Last updated by Avatar of fantasticfantastic 16 years, 9 months 전
  • Avatar of fantasticfantastic
    Participant
    @fantastic
    #2759

    오랜만에 fantastic님 블로그 놀러가보려 했는데 현재도 계정이 막혀있는 상태더군요…

    혹시 .htaccess 를 이용해서 스패머로 알려진 user-agent나 ip 들을 막아두셨나요?

    아직 적용하지 않았다면 한번 시도해 보시는것도 한 방법일듯 합니다.

    제 블로그에 관련글들이 있으니 우선 확인해 보시구요.

    제가 사용중인 .htaccess 파일의 일부 내용을 소개해 드릴께요.

    # These user agent strings occur at the beginning of the line
    SetEnvIf User-Agent "^<sc" bad_bot
    SetEnvIf User-Agent "^8484 Boston Project" bad_bot
    SetEnvIf User-Agent "^adwords" bad_bot
    SetEnvIf User-Agent "^autoemailspider" bad_bot
    SetEnvIf User-Agent "^blogsearchbot-martin" bad_bot
    SetEnvIf User-Agent "^Digger" bad_bot
    SetEnvIf User-Agent "^ecollector" bad_bot
    SetEnvIf User-Agent "^EmailCollector" bad_bot
    SetEnvIf User-Agent "^Email Extractor" bad_bot
    SetEnvIf User-Agent "^Email Siphon" bad_bot
    SetEnvIf User-Agent "^EmailSiphon" bad_bot
    SetEnvIf User-Agent "^grub crawler" bad_bot
    SetEnvIf User-Agent "^HttpProxy" bad_bot
    SetEnvIf User-Agent "^Jakarta Commons" bad_bot
    SetEnvIf User-Agent "^Java 1." bad_bot
    SetEnvIf User-Agent "^libwww-perl" bad_bot
    SetEnvIf User-Agent "^LWP" bad_bot
    SetEnvIf User-Agent "^Microsoft URL" bad_bot
    SetEnvIf User-Agent "^Missigua" bad_bot
    SetEnvIf User-Agent "^Movable Type" bad_bot
    SetEnvIf User-Agent "^Mozilla " bad_bot
    SetEnvIf User-Agent "^Mozilla/4.0(" bad_bot
    SetEnvIf User-Agent "^MSIE" bad_bot
    SetEnvIf User-Agent "^OmniExplorer" bad_bot
    SetEnvIf User-Agent "^PussyCat " bad_bot
    SetEnvIf User-Agent "^psycheclone" bad_bot
    SetEnvIf User-Agent "^Shockwave Flash" bad_bot
    SetEnvIf User-Agent "^User Agent: " bad_bot
    SetEnvIf User-Agent "^User-Agent: " bad_bot
    SetEnvIf User-Agent "^Wordpress Hash Grabber" bad_bot
    SetEnvIf User-Agent "^"" bad_bot

    # These user agent strings occur anywhere within the line
    SetEnvIf User-Agent "; Widows " bad_bot
    SetEnvIf User-Agent "a href=" bad_bot
    SetEnvIf User-Agent "compatible ; MSIE" bad_bot
    SetEnvIf User-Agent "compatible-" bad_bot
    SetEnvIf User-Agent "DTS Agent" bad_bot
    SetEnvIf User-Agent "Gecko/25" bad_bot
    SetEnvIf User-Agent "grub-client" bad_bot
    SetEnvIf User-Agent "hanzoweb" bad_bot
    SetEnvIf User-Agent "Indy Library" bad_bot
    SetEnvIf User-Agent "Murzillo compatible" bad_bot
    SetEnvIf User-Agent ".NET CLR 1)" bad_bot
    SetEnvIf User-Agent "POE-Component-Client" bad_bot
    SetEnvIf User-Agent "Turing Machine" bad_bot
    SetEnvIf User-Agent "WISEbot" bad_bot
    SetEnvIf User-Agent "WISEnutbot" bad_bot
    SetEnvIf User-Agent "Windows NT 4.0;)" bad_bot
    SetEnvIf User-Agent "Windows NT 5.1;)" bad_bot
    SetEnvIf User-Agent "Windows XP 5" bad_bot
    SetEnvIf User-Agent "\\)" bad_bot

    SetEnvIfNoCase User-Agent "nhnbot" bad_search_bot
    SetEnvIfNoCase User-Agent "Yeti" bad_search_bot
    SetEnvIfNoCase User-Agent "1Noonbot" bad_search_bot
    SetEnvIfNoCase User-Agent "Waazle" bad_search_bot

    SetEnvIfNoCase User-Agent "Googlebot" search_bot
    SetEnvIfNoCase User-Agent "msnbot" search_bot
    SetEnvIfNoCase User-Agent "Slurp" search_bot
    SetEnvIfNoCase User-Agent "crawl" search_bot
    SetEnvIfNoCase User-Agent "search" search_bot
    SetEnvIfNoCase User-Agent "engine" search_bot
    SetEnvIfNoCase User-Agent "empas" search_bot

    <Limit POST GET>
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
    Deny from 67.19.171.42
    Deny from 69.50.165.194
    </Limit>

    <Limit POST>
    Order Allow,Deny
    Allow from all
    Deny from env=search_bot
    Deny from 61.70.63.
    Deny from 65.55.246.
    Deny from 67.169.8.
    Deny from 82.211.102.
    </Limit>

    <Files trackback>
    <limit POST>   
    SetEnvIf User-Agent "Mozilla" trackers
    SetEnvIf User-Agent "Opera" trackers
    SetEnvIf User-Agent ^$ trackers
    Order Allow,Deny
    Allow from all
    Deny from env=trackers
    </limit>
    </Files>

    위 내용을 워드프레스의 룰 윗부분에 추가해 주시면 됩니다.

    bad_bot 과 bad_search_bot 으로 분류된 것들은 GET POST 두가지의 동작을 모두 막았으며, search_bot 으로 분류된 것들은 POST 만 막아두었습니다.

    도움이 안되는 방법일 수도 있지만 일단 한번 시도해 볼 만한 방법이라 생각됩니다.

    Avatar of fantasticfantastic
    Participant
    @fantastic
    #2760

    특정ip의 대량접근으로 호스팅회사에 서버가 과부하,cpu다운현상까지 발생하고 있다고 합니다.
    이미 같은 문제로 계정이 닫힌지 지금이 세번째입니다 -_-;
    이젠 호스팅회사에 죄송한 마음까지 드네요 .
    뭐가 문제인지 도통 모르겠습니다..이런 방면으론 전혀 알지 못하거든요..

    아래는 호스팅회사의 답변내용입니다.

    안녕하세요, 웹비넷입니다,
    서버에 확실한 부하가 발생하여 회원님의 계정을 조치하고 정상화 된 바라.,
    저희가 회원님을 도울 방법은 없습니다.

    워드프레스는 많이 사용치 않기 때문에
    자주 확인은 되지 않지만,
    테터툴즈는 서버당 1개 계정정도가 매주 한건씩 유사한 문제를 발생시키고 있습니다,
    그나마 테터툴즈 같은 경우는 제작자가 성실하고 관련 문제점에 대해 잘 알고 있어
    나름의 빠른 패치, 플러그인, 설정방법을 제공하고 있어
    그나마 적용하신 분들은 많이 해당 문제가 많이 걸러진 편입니다만..

    워드프레스의 경우는 어떤지 잘 모르겠습니다.
    그 많은 테터툴즈를 사용하는 블러그 중에도 대부분이 그렇다기 보다
    특정 사이트가 타겟이 되면, 지속적으로 해당 그룹들이 뭔가를 합니다.
    테터 같은 경우는 스팸성 댓글, 트랙백을 부어넣으면서 주로 부하가 발생하는데
    워드 프레스의 경우는 무엇을 하기 위해 그러한지는 모르겠습니다만..
    db에 처리되지 않는 프로세서가 쌓이고,
    cpu는 95% 점유하고,
    아파치 프로세서 는 지속적으로 유지되는 현상…

    203.223.159.232 fantastic902.com GET /?p=2683
    82.170.224.167 fantastic902.com GET /index.php?paged=4

    이와 같이 읽어지고 있는데,
    부하당시 접속해 있던 ip가 많지도 않는데, (물론 이미 치고 빠진 ip들도 있을겁니다..)
    해당 ip들이 위와 같은 형태로 여러주소를 보고 있는 듯 하게 보이고,
    그 몇몇의 프로세서가 서버의 cpu전체를 점유하고 유지되는 상태로 되기에..
    다른 프로세서를 처리하지 못함으로 인한 서버전체의 과부하 – 거의 다운상태까지.. 이렇게 진행되고 있습니다.

    저희도 테터툴즈를 사용하는 사이트들에 접근하는 수천개의 ip를 매주 잡아내고 있습니다,
    하지만 새로운 ip로 바꿔서 들어오구요. 같은 현상은 반복됩니다,
    한번 타겟이 된 사이트는 계속 그러한 것으로 보이며,
    수천개를 몇시간안에 다 잡아내면 그나마 조용해졌다가 얼마 후 다시 같은 문제가 발생하는..
    다른 ip들이겠지요..

    이렇게 저희가 차단목록으로 가지고 있는 ip들이 거의 1만개에 이릅니다..
    회원님의 사이트를 대상으로도 같은 조치를 할 수도 있습니다만..
    이는 완벽한 수단이 되지 못하며,
    그러한 블로그 사이트들은 저희가 ip를 차단하고 걸러냄과 동시에
    해당관리자에게 업데이트와 관련 설정, 플러그인을 적용할 것을 강제로 시키고 있습니다.

    회원님의 경우는 방법을 저희에게 묻고 있는데요..
    저희가 위 ip들은 차단을 했습니다. 하지만 수천조억개?의 ip들이 존재하는데 그를 다 막는다는 것도
    특정 국가를 막아버린다는 것도 무리가 있습니다,
    어느 정도 의도성이 있는 외국발 ip를 차단하긴 합니다만..
    결국 회원님의 해당 프로그램에서 방법이 없다면, 방법은 없는 것입니다.

    심지어 해당 프로그램을 제거하여도 이미 싱크된 내용들이나 트랙백을 타고 오는지 모르지만
    저렇게 주소를 하고 읽어들이는 시도들이 계속됩니다.
    물론 없으니 에러는 나겠지만, 에러도 수십ip들이 같이 일으키면 서버가 에러라고라도 표현해줘야
    하므로 무언가는 하게 되어 부하도에 영향을 미칩니다.
    그리고 시간이 지나면 조용해지지요..

    주위 분들 중 워드프레스를 사용하시는 분들은 아직 타겟이 되지 않았을 뿐
    아니면 나름의 알려진 조치 방법으로 차단을 잘 걸고 있을 경우일 것입니다,
    또는 외부로 발행을 하지 않거나, 공유하지 않거나 하여 조금은 폐쇄적으로 운영하지 않나 합니다,

    전체 워드 프레스를 사용하시는 모임 같은게 있어 찾아보신다면
    같은 문제를 겪는 분이 꼭 있을 것이며, 꽤나 많을 듯 합니다,
    나름의 방법도 제시하고 있을 듯 한데요.. 잘 찾아보시기 바랍니다.

    테터 사이트에도 수많은 유저들이 사용하고 있지만 그와 같은 문제를 호소하거나 문의하는 이들이
    많지는 않습니다. 하지만 있긴 있습니다..
    그래서 방법도 있고 더 확산되기 전 제작자는 패치를 하고 설정을 추가해주고 배포하고 그러합니다,

    워드프레스도 같은 문제와 해결방법이 있을 듯 하며,
    방법이 없다면,.. 저희도 무어라 답변드리기 어렵습니다.
    최악의 경우는 도메인을 변경하거나 제거하는 경우도 본 경우가 있긴 합니다..

    해당 사이트나 관련모임 사이트 등을 통해 방법을 강구해보시고,
    ftp는 열려져 있으니 활용해보시고,
    방법을 찾으셔서 무언가의 적용을 하시기 위해 홈피가 열려야 한다면,
    글 남겨주시기바랍니다.

    현재 닫혀 있는 상태인데도 위와 같은 접속이 계속 시도되고 있는게 확인됩니다
    열면 같은 부하가 바로 발생할 수 있다는 뜻이므로..
    방법을 충분히 찾아보시고 열기를 요청해주시기 바랍니다.

    큰 도움드리지 못해 죄송합니다.

    제가 뭘 어떻게 해야 좋을까요 미치겠어요 ㅠㅠ

    Avatar of fantasticfantastic
    Participant
    @fantastic
    #2761

    특정ip의 대량접근으로 호스팅회사에 서버가 과부하,cpu다운현상까지 발생하고 있다고 합니다.
    이미 같은 문제로 계정이 닫힌지 지금이 세번째입니다 -_-;
    이젠 호스팅회사에 죄송한 마음까지 드네요 .
    뭐가 문제인지 도통 모르겠습니다..이런 방면으론 전혀 알지 못하거든요..

    아래는 호스팅회사의 답변내용입니다.

    안녕하세요, 웹비넷입니다,
    서버에 확실한 부하가 발생하여 회원님의 계정을 조치하고 정상화 된 바라.,
    저희가 회원님을 도울 방법은 없습니다.

    워드프레스는 많이 사용치 않기 때문에
    자주 확인은 되지 않지만,
    테터툴즈는 서버당 1개 계정정도가 매주 한건씩 유사한 문제를 발생시키고 있습니다,
    그나마 테터툴즈 같은 경우는 제작자가 성실하고 관련 문제점에 대해 잘 알고 있어
    나름의 빠른 패치, 플러그인, 설정방법을 제공하고 있어
    그나마 적용하신 분들은 많이 해당 문제가 많이 걸러진 편입니다만..

    워드프레스의 경우는 어떤지 잘 모르겠습니다.
    그 많은 테터툴즈를 사용하는 블러그 중에도 대부분이 그렇다기 보다
    특정 사이트가 타겟이 되면, 지속적으로 해당 그룹들이 뭔가를 합니다.
    테터 같은 경우는 스팸성 댓글, 트랙백을 부어넣으면서 주로 부하가 발생하는데
    워드 프레스의 경우는 무엇을 하기 위해 그러한지는 모르겠습니다만..
    db에 처리되지 않는 프로세서가 쌓이고,
    cpu는 95% 점유하고,
    아파치 프로세서 는 지속적으로 유지되는 현상…

    203.223.159.232 fantastic902.com GET /?p=2683
    82.170.224.167 fantastic902.com GET /index.php?paged=4

    이와 같이 읽어지고 있는데,
    부하당시 접속해 있던 ip가 많지도 않는데, (물론 이미 치고 빠진 ip들도 있을겁니다..)
    해당 ip들이 위와 같은 형태로 여러주소를 보고 있는 듯 하게 보이고,
    그 몇몇의 프로세서가 서버의 cpu전체를 점유하고 유지되는 상태로 되기에..
    다른 프로세서를 처리하지 못함으로 인한 서버전체의 과부하 – 거의 다운상태까지.. 이렇게 진행되고 있습니다.

    저희도 테터툴즈를 사용하는 사이트들에 접근하는 수천개의 ip를 매주 잡아내고 있습니다,
    하지만 새로운 ip로 바꿔서 들어오구요. 같은 현상은 반복됩니다,
    한번 타겟이 된 사이트는 계속 그러한 것으로 보이며,
    수천개를 몇시간안에 다 잡아내면 그나마 조용해졌다가 얼마 후 다시 같은 문제가 발생하는..
    다른 ip들이겠지요..

    이렇게 저희가 차단목록으로 가지고 있는 ip들이 거의 1만개에 이릅니다..
    회원님의 사이트를 대상으로도 같은 조치를 할 수도 있습니다만..
    이는 완벽한 수단이 되지 못하며,
    그러한 블로그 사이트들은 저희가 ip를 차단하고 걸러냄과 동시에
    해당관리자에게 업데이트와 관련 설정, 플러그인을 적용할 것을 강제로 시키고 있습니다.

    회원님의 경우는 방법을 저희에게 묻고 있는데요..
    저희가 위 ip들은 차단을 했습니다. 하지만 수천조억개?의 ip들이 존재하는데 그를 다 막는다는 것도
    특정 국가를 막아버린다는 것도 무리가 있습니다,
    어느 정도 의도성이 있는 외국발 ip를 차단하긴 합니다만..
    결국 회원님의 해당 프로그램에서 방법이 없다면, 방법은 없는 것입니다.

    심지어 해당 프로그램을 제거하여도 이미 싱크된 내용들이나 트랙백을 타고 오는지 모르지만
    저렇게 주소를 하고 읽어들이는 시도들이 계속됩니다.
    물론 없으니 에러는 나겠지만, 에러도 수십ip들이 같이 일으키면 서버가 에러라고라도 표현해줘야
    하므로 무언가는 하게 되어 부하도에 영향을 미칩니다.
    그리고 시간이 지나면 조용해지지요..

    주위 분들 중 워드프레스를 사용하시는 분들은 아직 타겟이 되지 않았을 뿐
    아니면 나름의 알려진 조치 방법으로 차단을 잘 걸고 있을 경우일 것입니다,
    또는 외부로 발행을 하지 않거나, 공유하지 않거나 하여 조금은 폐쇄적으로 운영하지 않나 합니다,

    전체 워드 프레스를 사용하시는 모임 같은게 있어 찾아보신다면
    같은 문제를 겪는 분이 꼭 있을 것이며, 꽤나 많을 듯 합니다,
    나름의 방법도 제시하고 있을 듯 한데요.. 잘 찾아보시기 바랍니다.

    테터 사이트에도 수많은 유저들이 사용하고 있지만 그와 같은 문제를 호소하거나 문의하는 이들이
    많지는 않습니다. 하지만 있긴 있습니다..
    그래서 방법도 있고 더 확산되기 전 제작자는 패치를 하고 설정을 추가해주고 배포하고 그러합니다,

    워드프레스도 같은 문제와 해결방법이 있을 듯 하며,
    방법이 없다면,.. 저희도 무어라 답변드리기 어렵습니다.
    최악의 경우는 도메인을 변경하거나 제거하는 경우도 본 경우가 있긴 합니다..

    해당 사이트나 관련모임 사이트 등을 통해 방법을 강구해보시고,
    ftp는 열려져 있으니 활용해보시고,
    방법을 찾으셔서 무언가의 적용을 하시기 위해 홈피가 열려야 한다면,
    글 남겨주시기바랍니다.

    현재 닫혀 있는 상태인데도 위와 같은 접속이 계속 시도되고 있는게 확인됩니다
    열면 같은 부하가 바로 발생할 수 있다는 뜻이므로..
    방법을 충분히 찾아보시고 열기를 요청해주시기 바랍니다.

    큰 도움드리지 못해 죄송합니다.

    제가 뭘 어떻게 해야 좋을까요 미치겠어요 ㅠㅠ

3 글 보임 - 1에서 3 까지 (총 3 중에서)
  • 답변은 로그인 후 가능합니다.