怎么查看搜索引擎蜘蛛来过没有?

浏览 发布时间 2010/11/14

如果想做关键词排名,那么首先要让你的网页被收录,可是在收录过程中,我们应该如何来和搜索引擎互动呢?这也就是今天的正文内容,怎么查看搜索引擎蜘蛛来过没有?

首先解释下,什么是搜索引擎蜘蛛,因为现在互联网发展速度很快,不可能人工去采集数据,所以搜索引擎就派出某些特定程序到互联网上抓取新鲜内容,以保证数据的实时性。

因为这些程序很像蜘蛛一样,在网络间爬来爬去,因此大家就对搜索引擎的这种特定抓取程序,称之为“搜索引擎蜘蛛”而它的本质就是一个程序。

因为这些搜索引擎蜘蛛经常漫步在网络上,抓取各种各样的新鲜内容,那么我们怎么查看搜索引擎来过自己网站没有呢?

下面我以最常见的虚拟主机查看举例,如果你是用独立服务器的话,可以看我之前写的查看网站日志文章,这里我就不再累述了。

首先你要先登录网站空间的控制面板,去开启自己网站的日志功能,不知道的可以去问空间商,然后用FTP登录空间,找到“logfiles”文件夹(名字可能不同,但是一定会有log字样)然后打开,就会看见许多以日期命名的日志文件,将其下载下来,以文本形式打开。

文件打开后,入目的是一大堆记录信息,会显得很杂乱,下面我讲大家区分,哪些才是有价值的信息,用搜索功能找出你需要查看的搜索引擎蜘蛛,这里以百度蜘蛛为例,百度蜘蛛的名字是Baiduspider。

2010-11-14 01:32:45 W3SVC730124 174.139.88.98 GET /mingzhentankenan/201081160.html - 80 - 123.125.66.44 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 7515

上面是我提取一段完整百度蜘蛛记录,下面我给大家详细解释下,这是什么意思。

2010-11-14 01:32:45 是这次百度蜘蛛的来访时间

 174.139.88.98 你网站的IP

GET 请求方式

/mingzhentankenan/201081160.html 百度蜘蛛抓取了这个页面

- 80 - 端口号码

123.125.66.44 百度蜘蛛的IP

Baiduspider+(+http://www.baidu.com/search/spider.htm) 百度蜘蛛的名字和详细说明网址

200 0 0 7515 这是记录百度蜘蛛抓取时的状态,也是查看蜘蛛是否正常抓取到的参考条件。

(200 0 0 7515就是说百度成功访问了这个网页,并且抓取了网页7515个字节内容)

200 0 0是说明成功链接

另外比较常见参数还有:

304 该网页未更新

404 网页打不开,或者已经失效

301 网页永久跳转

通过上面学习,相信大家已经掌握了,怎么查看搜索引擎蜘蛛的操作办法,建议配合着robots.txt文件一起使用,这样可以很好告诉搜索引擎蜘蛛,哪些不需要抓取,避免重复收录,也可以用robots.txt文件提交网站地图

最后如果你有不懂地方,欢迎留下评论,我会在第一时间回复,祝大家都有一个好“收成”。

文章作者:北京网站优化@红光(QQ:86541358)
文章地址:http://www.010wangzhanyouhua.com/view-spiders/
尊重别人的劳动成果,你的劳动成果也一定会被尊重。
小洛(123.113.45.176) 发表于:2012-2-1 16:58:29
“301 网页永久跳转”这个地方不明白耶
301为永久重定向,指的是这个域名已经永久调整新域名,帮助搜索引擎发现变化和转移权重
文章来源:除注明来自转载,其余全部为原创文章。
旨在和大家分享网站优化经验、普及网站优化知识。
如果你喜欢本站的文章,转载时请保留文章出处,谢谢。 var _bdhmProtocol = (("https:" == document.location.protocol) ? " https://" : " http://"); document.write(unescape("%3Cscript src='" + _bdhmProtocol + "hm.baidu.com/h.js%3F228e1f36afdcb394a9b26b873488ff28' type='text/javascript'%3E%3C/script%3E"));