也许各位常常看到别人在群里聊天，某某人的网站出现什么问题了。。。别人建议查看网站的日志文件，分析蜘蛛的爬取情况。可是如何去分析日志文件却很少有人去提，接下来我会大概介绍一下，如何去分析网站的日志文件，找出网站可能出现的问题等等。
一般我们的服务器是可以开启蜘蛛爬取记录文件的，如果没有开启这功能，可联系空间商要求开通此功能，通过分析web log，找出自己站的问题所在。
日志文件一般是log为扩展名的文件，有的是GZ压缩后的文件，没有关系，我们下载下来，可以直接用记事本打开log文件，可看到里面的爬取记录。
格式大致都是如下这种：
220.181.108.175 – – [25/Jul/2012:11:54:58 -0700] "GET /sitemap.xml HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
