有關網頁抓取問題的一些經驗總結 - passover【畢成功的博客】 - 51CTO技術博客

有關網頁抓取問題的一些經驗總結

2011-05-05 18:07:38

標簽：爬蟲 網頁抓取

??? 在寫爬蟲的時候經常會遇到有些頁面下載下來會有問題，如果你把請求模擬成和瀏覽器一樣，肯定是可以把頁面正確獲取的，但是其中往往很多參數都沒有什么用，真正影響的就幾個關鍵參數。這里特別把自己的經驗做一下總結。

??? 重點需要關注的參數有：

1. url: 這主要就是URL編碼會導致問題，在URL中包含中文的時候可能會出現

2. user-agent: 大網站通常會對不同的瀏覽器做優化，所以會有區別

3. cookie: 有些網站會用到cookie信息，比如有些網站會把session信息記錄在cookie中

4. refer: 有些網站為了防止跨站攻擊，會對refer的頁面進行檢查

5. accept-charset和accept-encoding: 個別網站會對接收的編碼會有特殊處理

6. sessionID: 這個有時會設在參數中，有些網站會用到這個值，當然還有其他參數可能會有用到。

??? 上面都是經驗之談，希望能對大家有所幫助。

總結

以上是生活随笔為你收集整理的有关网页抓取问题的一些经验总结 - passover【毕成功的博客】 - 51CTO技术博客的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。