下面是常用搜索引擎名与 HTTP_USER_AGENT对应值，掌握了这些知识我们可以更好地设置对相应蜘蛛的屏蔽。
百度：baiduspider
谷歌：googlebot
搜狗：sogou
360：360
神马：YisouSpider
腾讯：SOSOsosospider
雅虎：slurp
有道：youdaobot
必应：Bingbingbot
当然还有很多垃圾蜘蛛的UA：SemrushBot、DotBot、HttpClient、MJ12bot、SemrushBot、Barkrowler、AhrefsBot、PetalBot、BLEXBot、SM-G900P，这里不一一叙述。
另外还有一些搜狗的UA，我们没有去一一验证：Sogou Orion spider、Sogou News Spider、Sogou blog、Sogou spider2、Sogou inst spider、Sogou web spider、Sogou spider。
本站所有内容仅限用于学习和研究目的，程序仅供本地断网测试，转载请说明出处！
站群SEO » 常用搜索引擎的HTTP_USER_AGENT
站群SEO » 常用搜索引擎的HTTP_USER_AGENT
