트래픽 잡아먹는 악성 봇 차단하기.

안녕하세요. 달소입니다.

사이트를 운영하다보면 여러 케이스들을 겪게되는데 그중에하나가 bot 입니다.

사이트에 갑자기 트래픽이 늘어났네...!? 라고 보면 십중팔구 망할 봇들때문이죠...

그래서 예전에 아래와같은 팁도 올려놨구요 ㅎ

 NPM(Nginx Proxy Manager)에서 악성/스팸 봇 차단 방법...[서버 구축(Self-Hosted)] 달소 2022.02.10안녕하세요. 달소입니다.   오늘은 사이트 운영을 하면서 필수적으로 해야할 설정인 악성/... 

근데 이것도 오래됐는지,, 오늘 npmplus에서 goaccess를 활성화 하고 봤더니 이상한 bot하나가 트래픽을 엄청쓰더라구요..ㅠ

안드로이드 롤리팝주제에 순식간에 500MiB를..ㅠ

보통 크롤러라는 에이전트 user를 달고오는데 이놈들은 상도덕이없어서 그런것도 없습니다..;;

그래서 nginx 로그를 확인해보니 아래처럼 접근이력이 있네요.

맨 아래있는게 agent-user입니다. Android 5.0

이제 상단에 올려드린가이드글의 항목처럼 nginx config를 추가해주시면됩니다.

최최종본

Bytespider와 ClaudeBot을 추가했습니다.

### 공백 UserAgent 차단
  if ($http_user_agent = “”) {
    return 403;
  }
  
  ### 기타 불필요한 스팸,악성 봇 차단
  if ($http_user_agent ~* (AhrefsBot|BLEXBot|ClaudeBot|DotBot|Bytespider|SemrushBot|Eyeotabot|PetalBot|MJ12bot|brands-bot|bbot|AhrefsBo|MegaIndex|UCBrowser|Mb2345Browser|MicroMessenger|LieBaoFast|Headless|netEstate|newspaper|Adsbot/3.1|WordPress/|ltx71) ) {
    return 403;
  }

이게 악성봇인가? 싶으면 구글링해보셔도됩니다.

 PSA | Bytedance and Bytespider Bots | Recommend Blockingwordpress.orgPSA | Bytedance and Bytespider Bots | Recommend Blocking Resolved generosus (@generosus) 11 months, 3 weeks ago *** PUBLIC SERVICE ANNOUNCEMENT *** I have thoroughly investigated the bots, Bytedanc… Reddit - Dive into anythingwww.reddit.com  

끝!