Tag Archive | "网站日志"

Tags:

如何查看百度蜘蛛,google蜘蛛爬取记录?《网站日志分析篇》

Posted on 26 8月 2012 by simon

也许各位常常看到别人在群里聊天,某某人的网站出现什么问题了。。。别人建议查看网站的日志文件,分析蜘蛛的爬取情况。可是如何去分析日志文件却很少有人去提,接下来我会大概介绍一下,如何去分析网站的日志文件,找出网站可能出现的问题等等。

一般我们的服务器是可以开启蜘蛛爬取记录文件的,如果没有开启这功能,可联系空间商要求开通此功能,通过分析web log,找出自己站的问题所在。

日志文件一般是log为扩展名的文件,有的是GZ压缩后的文件,没有关系,我们下载下来,可以直接用记事本打开log文件,可看到里面的爬取记录。

格式大致都是如下这种:

220.181.108.175 – – [25/Jul/2012:11:54:58 -0700] "GET /sitemap.xml HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

 

Continue Reading

Comments (2)

斗牛SEO工具