AhrefsBot是什么蜘蛛?怎么屏蔽禁止它抓取网页

如果你经常关注自己网站每天都有哪些搜索引擎蜘蛛来爬的话,可能会发现,除了我们常见的百度蜘蛛(Baiduspider)、谷歌蜘蛛(Googlebot)、360蜘蛛(360spider)等外,还有一些一眼看上去也不知道是什么的蜘蛛程序,比如今天我们要介绍的这个:AhrefsBot。

AhrefsBot是什么蜘蛛?

AhrefsBot是国外网站(Ahrefs.com)的一个蜘蛛程序,那么Ahrefs是什么网站呢,这个是国外一个网络营销类的网站,有点类似于国内的5118、站长网之类,在SEO界是很有名的。AhrefsBot数据库里面有超过12万亿条链接,每天它就在不断的执行和监控Ahrefs的在线营销活动,每24小时就要访问超过60亿个网页,每15-30分钟就要更新一次索引。

根据一项调查显示,AhrefsBot是仅次于谷歌蜘蛛(Googlebot)的世界第二大活跃蜘蛛爬虫程序。

AhrefsBot是什么蜘蛛?怎么屏蔽禁止它抓取网页

AhrefsBot对网站有什么影响?

AhrefsBot除了会轻微的增加你服务器的负担外,并不会对你的网站造成什么影响,它既不会触发网站上的广告,也不会在统计中增加流量。

对于国内的中文网站来说,AhrefsBot蜘蛛是没有什么作用的,不管是好的作用还是副作用。所以我们建议是将其屏蔽掉。

如何屏蔽AhrefsBot?

要想禁止AhrefsBot抓取你的网站,方法其实是很简单,因为AhrefsBot是遵循robots.txt协议的,所以你只需要在robots.txt中将其禁止就行,具体代码如下:

user-agent: AhrefsBot
disallow: /

总的来说,很多陌生的蜘蛛程序都是国外的一些营销网站开发的,通过这些蜘蛛在世界各地的网站上抓取网站,提供SEO服务。

联系电话

15961004617

加微信
加微信
TOP