Hướng dẫn chặn User Agent  trên aaPanel

Giới thiệu

Hôm nay mình sẽ hướng dẫn các bạn cách chặn User Agent (Bot) truy cập website khi sử dụng aaPanel. Dưới đây mình có một website sử dụng aaPanel đang bị Bot truy cập với tấn suất vô cùng lớn gây quá tải VPS/Server như hình dưới.

Thì sau khi mình kiểm tra log website trên aaPanel theo đường dẫn : /www/wwwlogs/domain.com.log thì thấy website đang có nhiều lượt truy cập đến từ con Bot có tên coccocbot-web/1.0 của Coccoc với log cụ thể bên dưới:

103.131.71.180 - - [27/Jun/2022:14:42:56 +0700] "GET /xxx-xxx-xxx-xx-tphcm/ HTTP/1.1" 500 2539 "-" "Mozilla/5.0 (compatible; coccocbot-web/1.0; +http://help.coccoc.com/searchengine)"
103.131.71.180 - - [27/Jun/2022:14:42:58 +0700] "GET  /xxx-xxx-xxx-xx-tphcm// HTTP/1.1" 500 2539 "-" "Mozilla/5.0 (compatible; coccocbot-web/1.0; +http://help.coccoc.com/searchengine)"
103.131.71.180 - - [27/Jun/2022:14:43:00 +0700] "GET  /xxx-xxx-xxx-xx-tphcm/ HTTP/1.1" 500 2539 "-" "Mozilla/5.0 (compatible; coccocbot-web/1.0; +http://help.coccoc.com/searchengine)"
103.131.71.180 - - [27/Jun/2022:14:43:02 +0700] "GET  /xxx-xxx-xxx-xx-tphcm/  HTTP/1.1" 500 2539 "-" "Mozilla/5.0 (compatible; coccocbot-web/1.0; +http://help.coccoc.com/searchengine)"
103.131.71.180 - - [27/Jun/2022:14:43:04 +0700] "GET /bao-hanh-arirang/ HTTP/1.1" 500 2539 "-" "Mozilla/5.0 (compatible; coccocbot-web/1.0; +http: /xxx-xxx-xxx-xx-tphcm/  HTTP/1.1" 500 2539 "-" "Mozilla/5.0 (compatible; coccocbot-web/1.0; +http://help.coccoc.com/searchengine)"
40.77.167.56 - - [27/Jun/2022:14:43:08 +0700] "GET /xxx-xxx-xxx-xx-tphcm/  HTTP/2.0" 500 2527 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
103.131.71.180 - - [27/Jun/2022:14:43:08 +0700] "GET  /xxx-xxx-xxx-xx-tphcm/  HTTP/1.1" 500 2539 "-" "Mozilla/5.0 (compatible; coccocbot-web/1.0; +http://help.coccoc.com/searchengine)"

Và bây giờ mình sẽ hướng dẫn các bạn chặn nhanh con Bot này hoặc với các con Bot bạn cũng sử dụng cách tương tự để chặn, nếu gặp phải tình trạng như trên nhé. Chi tiết cách thực hiện các bạn xem tiếp ở phần dưới nhé.

Hướng dẫn thực hiện

Để chặn các Bot này bạn chỉ cần truy cập vào trang quản trị aaPanel, tiếp đó vào phần Website >> Conf >> Config để chỉnh sửa Vhost của website cần chặn Bot , và thêm cấu trúc bên dưới vào.

Lưu ý: Trong dấu () bạn điền các Bot cần chặn, và ngăn cách nhau bằng dấu | . Bên dưới là cấu trúc chặn các Bot thông dụng, nếu bạn cần loại bỏ Bot nào thì chỉ việc xóa đi nhé.

    # Block Bot
if ($http_user_agent ~* (MJ12bot/v1.4.8|MJ12bot/v1.4.4|SemrushBot/6~bl|SemrushBot/7~bl|DotBot/1.1|DotBot/1.2|MegaIndex.ru/2.0|AspiegelBot|PetalBot|BLEXBot/1.0|serpstatbot/2.1|bingbot/2.0|coccocbot-web/1.0)) {
        return 403;
    }

Dưới đây là mình họa khi thêm vào cấu trúc vào Vhost.

Sau khi thêm xong, bạn hãy kiểm tra lại log truy cập của website. Nếu bạn thấy các truy cập từ Bot mình chặn báo 403, nghĩa là bạn đã chặn Bot đó thành công.

Và sau khi các Bot đã được chặn thành công, Server của mình hiện đã load ổn định trở lại như hình dưới.

Ở trên là cách chặn Bot truy cập website vô cùng đơn giản trên aaPanel. Hy vọng bài viết sẽ hữu ích với các bạn.

Chúc các bạn thực hiện thành công.!