dawangmao 
如果你经常关注自己网站每天都有哪些搜索引擎蜘蛛来爬的话，可能会发现，除了我们常见的百度蜘蛛（Baiduspider）、谷歌蜘蛛（Googlebot）、360蜘蛛（360spider）等外，还有一些一眼看上去也不知道是什么的蜘蛛程序，比如今天我们要介绍的这个：AhrefsBot。
AhrefsBot是什么蜘蛛？
AhrefsBot是国外网站（Ahrefs.com）的一个蜘蛛程序，那么Ahrefs是什么网站呢，这个是国外一个网络营销类的网站，有点类似于国内的5118、站长网之类，在SEO界是很有名的。AhrefsBot数据库里面有超过12万亿条链接，每天它就在不断的执行和监控Ahrefs的在线营销活动，每24小时就要访问超过60亿个网页，每15-30分钟就要更新一次索引。
根据一项调查显示，AhrefsBot是仅次于谷歌蜘蛛（Googlebot）的世界第二大活跃蜘蛛爬虫程序。
AhrefsBot对网站有什么影响？
AhrefsBot除了会轻微的增加你服务器的负担外，并不会对你的网站造成什么影响，它既不会触发网站上的广告，也不会在统计中增加流量。
对于国内的中文网站来说，AhrefsBot蜘蛛是没有什么作用的，不管是好的作用还是副作用。所以我们建议是将其屏蔽掉。
如何屏蔽AhrefsBot？
要想禁止AhrefsBot抓取你的网站，方法其实是很简单，因为AhrefsBot是遵循robots.txt协议的，所以你只需要在robots.txt中将其禁止就行，具体代码如下：
user-agent: AhrefsBot
disallow: /
总的来说，很多陌生的蜘蛛程序都是国外的一些营销网站开发的，通过这些蜘蛛在世界各地的网站上抓取网站，提供SEO服务。
