宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取

前言：有些网站不想做SEO，加上可能配置不好，各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

方案1：首先你得拥有一个宝塔防火墙，直接在防火墙里找到：User-Agent过滤，然后添加以下规则内容：

(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot|Amazonbot|dataforseo|DataForSeoBot|semrush|babbar|mj12bot|116.0.0.0)

方案2：在宝塔面板找到对应的网站，点击设置，点击配置文件，加入以下代码：

if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot|Amazonbot|dataforseo|DataForSeoBot|semrush|babbar|mj12bot|116.0.0.0") {
      return 403; }

Nginx内部标志UA的变量为 $http_user_agent，想要屏蔽某个UA，找到其它UA的关键词，按上面的设置即可。