宝塔网站如何屏蔽蜘蛛禁止某些蜘蛛爬取-Zuozi

文章最后更新时间：2025-03-30 17:07:58

前言：有些网站不想做SEO，加上可能配置不好，各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

方案1：首先你得拥有一个宝塔防火墙，直接在防火墙里找到：User-Agent过滤，然后添加以下规则内容：

(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot|Amazonbot|dataforseo|DataForSeoBot|semrush|babbar|mj12bot|116.0.0.0)

宝塔网站如何屏蔽蜘蛛禁止某些蜘蛛爬取

方案2：在宝塔面板找到对应的网站，点击设置，点击配置文件，加入以下代码：

if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot|Amazonbot|dataforseo|DataForSeoBot|semrush|babbar|mj12bot|116.0.0.0") {
      return 403; }

QQ截图20211209044235.png

Nginx内部标志UA的变量为 $http_user_agent，想要屏蔽某个UA，找到其它UA的关键词，按上面的设置即可。

版权声明 1 本站名称： 左子网
2 本站网址：https://www.zuozi.net
3 本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长进行删除处理。
4 本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5 本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报。
6 本站附件资源、教程等内容如因时效原因失效或不可用，请评论区留言或联系站长及时更新。

THE END