推酷推酷总站

#阿里云ECS

【干货】阿里云ECS云服务器经常CPU100%怎么解决?分享4个拦截恶意爬虫IP的方法

不知道为什么阿里云的99计划的ESC云服务器经常CUP爆炸,到60%以上就开始卡,还时不时100%,目前我发现的就是因为国内爬虫太多了,不仅仅是AI爬虫,还有很多采集爬虫。

方法一:AI写针对性防御

把你服务器上所有网站日志全部导出,都是.log格式的,全部发给豆包,跟他说只放搜索引擎的爬虫和正常用户进来,其它不能带来流量的SEMrush、Amazonbot、Ahrefs这些用于AI大模型训练的或者商业爬虫全部返回403.

记得要告诉豆包你用的是Nginx还是Apache,写法是不一样的,跟他说不要一个一个网站部署,要部署到Apache或Nginx的主配置文件中,然后它分析完日志会发给你对应的代码,你放到主配置中即可防御这些烦人的爬虫。

方法二:开启自动拦截高频访问IP

最近宝塔面板的Fail2ban用不了,具体原因不知道,可能是不兼容新版本。你可以自己部署Fail2ban。

Apache有自带的mod_evasive这个模块也能自动封禁高频访问IP,并且到时间后自动解除封禁,记得给搜索引擎的爬虫加到白名单。

Nginx可能就只能用ngx_http_limit_req_module(limit_req)、ngx_waf这些了。

方法三:使用WAF防火墙

可以单独安装免费的宝塔云WAF或雷池WAF,不过比较麻烦,官方不推荐和宝塔面板安装在同一台服务器上,要额外买一个服务器安装,也费钱。

方法四:在CND拦截

不管是用阿里云CND还是Cloudflare都是可以拦截恶意爬虫的,在规则里设置即可,本文只告诉你们方法,具体设置你们可以另外搜索教程。

赞 0 评论 0 浏览 21