宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取

远昔 技术教程 2021-12-09 3875 0

前言:有些网站不想做SEO,加上可能配置不好,各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

方案1:首先你得拥有一个宝塔防火墙,直接在防火墙里找到:User-Agent过滤,然后添加以下规则内容:

(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)

方案2:在宝塔面板找到对应的网站,点击设置,点击配置文件,加入以下代码:

if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") {
      return 403; }

QQ截图20211209044235.png

Nginx内部标志UA的变量为 $http_user_agent,想要屏蔽某个UA,找到其它UA的关键词,按上面的设置即可。

评论

发表评论:

挤眼 亲亲 咆哮 开心 想想 可怜 糗大了 委屈 哈哈 小声点 右哼哼 左哼哼 疑问 坏笑 赚钱啦 悲伤 耍酷 勾引 厉害 握手 耶 嘻嘻 害羞 鼓掌 馋嘴 抓狂 抱抱 围观 威武 给力
提交评论

清空信息
关闭评论