SemrushBot是SEMrush的蜘蛛爬虫。
SEMrush是一家老牌的提供搜索引擎优化数据的公司，是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。
建议中文站屏蔽掉它的爬行，首先因为这个蜘蛛爬行并不会给网站带来流量，只会占用服务器资源，其次是这是已经数据分析公司的爬虫，它爬的数据会成为你竞争对手的分析利器。
如何屏蔽SemrushBot呢？
robots.txt文件中添加以下代码即可：
User-agent: SemrushBot Disallow: / User-agent: SemrushBot-SA Disallow: /
本站所有内容仅限用于学习和研究目的，程序仅供本地断网测试，转载请说明出处！
站群SEO » SemrushBot是什么蜘蛛爬虫?
站群SEO » SemrushBot是什么蜘蛛爬虫?
