也許各位常常看到別人在群里聊天，某某人的網站出現什么問題了。。。別人建議查看網站的日志文件，分析蜘蛛的爬取情況。可是如何去分析日志文件卻很少有人去提，接下來我會大概介紹一下，如何去分析網站的日志文件，找出網站可能出現的問題等等。

一般我們的服務器是可以開啟蜘蛛爬取記錄文件的，如果沒有開啟這功能，可聯系空間商要求開通此功能，通過分析web log，找出自己站的問題所在。

日志文件一般是log為擴展名的文件，有的是GZ壓縮后的文件，沒有關系，我們下載下來，可以直接用記事本打開log文件，可看到里面的爬取記錄。

格式大致都是如下這種：

220.181.108.175 – – [25/Jul/2012:11:54:58 -0700] "GET /sitemap.xml HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

說明：第一個IP是蜘蛛的IP地址，依次為抓取時間，get的文件名，協議，狀態碼，百度蜘蛛。

請特別注意一下，狀態碼，如果網站出現很多404，需要在robots里屏蔽或者匯總提交給站長工具至搜索引擎，否則網站在搜索引擎眼里就是個很不正常的站點，而且網站的抓取也很有問題，需要正視這個問題，因為不少人的站點都是這個原因引起的，而自己卻渾然不知。

當然狀態碼只是一個方面，我們可以分析，蜘蛛每次來的時間大概是什么時候，每次蜘蛛來網站后共抓取多少個頁面，每次在網站上停留多少時間。通過匯總一個時間段的web log，可以分析出自己頁面的哪些目錄還沒有被搜索引擎抓取到，自己是否可以在適當的位置展示這些頁面，或者通過站長工具的sitemap提交，多做些高質量的外鏈來達到收錄效果。

相信我，利用好web log會讓你受益無窮！

文檔信息

最后修改時間：

2012年08月26日 23:44:24

看了此文的人貌似還看了這些:

∴2012-08-11

∴2012-07-29

∴2012-08-11

∴2012-07-28

∴2012-07-28

總結

以上是生活随笔為你收集整理的网站服务器蜘蛛日志怎么看,如何查看百度蜘蛛，google蜘蛛爬取记录？《网站日志分析篇》...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。