前段时间研究搜狗收录方法,找到了来搜狗蜘蛛的渠道(目前没有渠道了),于是写了这段代码便于自己统计搜狗蜘蛛来爬的url。
本以为很简单就可以写好搜狗蜘蛛的统计的,没想到搜狗的标识符不是sougouspider。
换了好几种写法都没有成功实现,最后还是在“老虎域名”的提示之下,直接写“sougou”作为统计蜘蛛的标识,这才成功。
众里寻他千百度,蓦然回首,那搜狗标识却在灯火阑珊处~
操作方法
在服务器根目录新建:spider.php,代码如下:
<?php function get_naps_bot() { $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'sogou') !== false){ return 'sogouspider'; } return false; } function nowtime(){ $date=gmdate("Y-n-j H:i:s",time()+8*3600); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI']; $file="spiderlogs.txt"; $time=nowtime(); $data=fopen($file,"a"); fwrite($data,"Time:$time robot:$searchbot URL:$url\n"); fclose($data); } ?>
在泛目录的index.php/404.php/sitemapphp的等相关蜘蛛会访问到的文件中插入:
include'spider.php';
查看蜘蛛统计的话,访问:您的域名/spiderlogs.txt
本站所有内容仅限用于学习和研究目的,程序仅供本地断网测试,转载请说明出处!
站群SEO » 自用便于统计搜狗蜘蛛的php代码
站群SEO » 自用便于统计搜狗蜘蛛的php代码