BLEXBot是什么蜘蛛爬虫?

今天查看网站蜘蛛爬行记录发现了这条蜘蛛UA

Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)

因为没有见过百度查了一下

原文:

Blexbot是WebMeUp的蜘蛛爬虫,Blexbot每天可以抓取上百亿个页面来收集反向链接数据,并将该数据提供给其链接索引(在SEO SpyGlass中使用的链接索引)。

WebMeUp是美国的一家外链反向链接查询工具网站,他一般的形式是

Mozilla / 5.0(兼容; BLEXBot / 1.0; + http://webmeup-crawler.com/)

本站所有内容仅限用于学习和研究目的,程序仅供本地断网测试,转载请说明出处!
站群SEO » BLEXBot是什么蜘蛛爬虫?

发表评论

欢迎 访客 发表评论

聚合全网站群程序及推送工具!

联系站长 联系客服