admin 管理员组

文章数量: 1184232

现在有很多的未知蜘蛛，总是频繁抓取我们的网站，特别是服务器配置不高的情况下，那么如何屏蔽这些垃圾蜘蛛减轻服务器压力呢？

一般来说，屏蔽蜘蛛抓取有三种方法：

  1. Robots屏蔽
  2. UA屏蔽
  3. IP屏蔽

主机教程网一般都是通过Robots屏蔽这个方法，Robots 协议（也称为爬虫协议、机器人协议等）用来告诉搜索引擎、爬虫哪些页面https://2bcd可以抓取，哪些页面不能抓取。

常见垃圾蜘蛛：

  • AhrefsBot：通过抓取网页建立索引库,并提供反向链接分析和服务。
  • dotbot：在线营销分析软件。
  • MJ12bot：英国搜索引擎。
  • Deusu：个人的项目一个搜索引擎。
  • grapeshot：这家公司好像也是分析网站用的。

屏蔽方式如下：

在robots.txt目录下添加下面的代码，添加之后再用百度站长平台检测一下robots是否正确。

  1. User-agent: AhrefsBot
  2. Disallow: /
  3. User-agent: dotbot
  4. Disallow: /
  5. User-agent: MJ12bot
  6. Disallow: /
  7. User-agent: DeuSu
  8. Disallow: /
  9. User-agent: grapeshot
  10. Disallow: /

各大常见蜘蛛：

百度蜘蛛：Baiduspider

谷歌蜘蛛：Googlebot

必应蜘蛛：bingbot

搜狗蜘蛛：Sogou web spider

360蜘蛛：360Spider

来源：https://2bcd/37.html

本文标签： 屏蔽 蜘蛛 压力 搜索引擎 服务器

版权声明：本文标题：屏蔽搜索引擎的无用蜘蛛，减轻服务器压力 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1754691212a3029734.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。