如何查看百度蜘蛛是否来过我的网站
浏览: 发表时间:2010-4-20 来源: 保定龙跃网络【返回】
如何查看百度蜘蛛是否来过我的网站,尤其对于长期不收录,百度快照不更新的新站来说,查看百度蜘蛛是否来过我的网站就很重要了,如果蜘蛛没有来,那就不要谈收录了,解决的办法就是尽快引开蜘蛛了,如果蜘蛛爬过了,要检查下网站是否存在一些百度不收录的原因,比如过度优化。以上都没有,就要等了,等百度大更新时,收录自然就有了!那么如何查看百度蜘蛛是否来过我的网站呢?
seo学习网在这里介绍通过看日志来了解百度蜘蛛是否来过:很多网站目前使用的都是虚拟空间,都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件。下载到本地,用记事本打开.txt文本,一般百度蜘蛛代码是“baiduspider”,我们可以查找下文档中是否存在“baiduspider”,如果存在,看下里面的代码:2010-04-19 21:06:44 W3SVC725 58.221.29.72 GET /robots.txt - 80 - 220.181.7.14 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 305 209。下面我来解释下这段代码:
1、2010-04-19 21:06:44是日期,也就是蜘蛛来的日期和时间了。
2、 GET /robots.txt 访问的页面 get表示获取
3、80是端口
4、220.181.7.14是蜘蛛的ip地址
5、Baiduspider+(+http://www.baidu.com/search/spider.htm)是百度蜘蛛了
6、200表示抓取成功。有时会出现其他代码如:404 - 请求的网页不存在;503 - 服务器暂时不可用
如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,例如Soso的蜘蛛“sosospider”,可以查看Soso的蜘蛛是否来过。

