最近没有什么事情,为了知道有那些搜索引擎爬本站,为此我用了一些时间写了个wordpress的蜘蛛记录插件。我就不贴效果图,谁用谁知道。
插件地址
－ wp-spider
简介
- 1.感谢你使用由midoks写的蜘蛛抓取插件
- 2.可记录各大搜索引擎的本博客的收录抓取,随时关注搜索引擎对博客内容的收录情况!!!
- 3.添加了单条记录删除功能
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
| 解释一下关键字,如何判断是哪个spider抓取你的网页?在PHP中根据$_SERVER['HTTP_USER_AGENT']
请求头中的信息来判断,比如:Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
Baiduspider就是百度蜘蛛的名字,根据头信息就知道谁在抓取蜘蛛了
已经有的:
$spider_list = array (
'googlebot' => '谷歌',
'mediapartners-google' => 'Google Adsense',
'baiduspider' => '百度',
'slurp' => '雅虎',
'Sogou' => '搜狗',
'sosospider' => '腾讯SOSO',
'ia_archiver' => 'Alexa',
'iaarchiver' => 'Alexa',
'yodaobot' => 'Yodao',
'sohu-search' => '搜狐',
'msnbot' => 'MSN',
'360Spider'=>'360',
'DNSPod'=>'DNSPod',
);
希望你能用的开心!!!
|