下面是常用搜索引擎名与 HTTP_USER_AGENT对应值,掌握了这些知识我们可以更好地设置对相应蜘蛛的屏蔽。
百度:baiduspider
谷歌:googlebot
搜狗:sogou
360:360
神马:YisouSpider
腾讯:SOSOsosospider
雅虎:slurp
有道:youdaobot
必应:Bingbingbot
当然还有很多垃圾蜘蛛的UA:SemrushBot、DotBot、HttpClient、MJ12bot、SemrushBot、Barkrowler、AhrefsBot、PetalBot、BLEXBot、SM-G900P,这里不一一叙述。
另外还有一些搜狗的UA,我们没有去一一验证:Sogou Orion spider、Sogou News Spider、Sogou blog、Sogou spider2、Sogou inst spider、Sogou web spider、Sogou spider。
本站所有内容仅限用于学习和研究目的,程序仅供本地断网测试,转载请说明出处!
站群SEO » 常用搜索引擎的HTTP_USER_AGENT
站群SEO » 常用搜索引擎的HTTP_USER_AGENT