這兩天找了個實習(xí)，名義是python工程師，其實就是寫爬蟲+整合到django。實習(xí)很奇葩，還有試用期的，現(xiàn)在試用期過了等后續(xù)安排，正好整理下這幾天寫爬蟲的一些心得體會。

首先，感覺寫爬蟲真的是個經(jīng)驗活，一般的網(wǎng)站說白了就是不停往request里試參數(shù)。直接爬不行加headers=試試，看有提交的表單就加個data=試試。這里要區(qū)分下的是POST方法對應(yīng)的是Form Data，可以通過request的data參數(shù)實現(xiàn)

request.post（data=data）

而GET方法對應(yīng)的是Query String Parameters，一般采用拼接url的方法

base_url+urllib.urlencode(data)

至于提交表單的內(nèi)容是什么，就要靠自己看html的標(biāo)簽或者js的函數(shù)得知，一般來說都能在html的源碼里搜索到，可能是商品id，可能是頁面相對路徑的一部分，可能和時間相關(guān)，當(dāng)然那些反爬網(wǎng)站提交的表單都是加密的，要想真正破解就要靠猜和試了。

然后對于一些需要模擬登錄的網(wǎng)站，不需要驗證碼的話利用上面說的GET和POST表單應(yīng)該就能解決，但有的網(wǎng)站還需要提供cookies，這時request就要包含cookies參數(shù)了。

requests.get(url, headers=header, cookies=cookie_dict)
而對于一些需要驗證碼登錄的網(wǎng)站，也可以考慮先登錄進去，然后復(fù)制下來登陸后的cookies，再利用其模仿登陸后的狀態(tài)，但這招不一定總能成功。

說到這里突然想起之前爬學(xué)校能源網(wǎng)站查電費時，它一個非登錄功能居然也要提供cookies才能成功響應(yīng)，不知道是不是和框架有關(guān)，但總覺得好多此一舉...

最后想說，之前碰到爬不動的網(wǎng)站，就想用phantomjs+selenium，因為感覺理論上沒有這個方法爬不了的網(wǎng)站，但在實習(xí)時候就遇到了不行的情況，現(xiàn)在也沒搞懂為什么。不過拋開個案不談，phantomjs雖然好用，可現(xiàn)在越發(fā)覺得用它就和作弊一樣，因為它就是個瀏覽器啊！個人用來爬少量數(shù)據(jù)還好，如果要爬商業(yè)用的大量數(shù)據(jù)request才是正道，畢竟用phantomjs比你直接用瀏覽器的效率都高不出哪里去。

總之無論是headers，data還是cookies，爬蟲的精髓就是要盡可能的模仿真實瀏覽器的登錄過程（知乎live 董偉明大大講的），但抓到的包里有那么多參數(shù)，完全加進去不可能也沒必要。至于具體使用哪些參數(shù)才能奏效，真的就要靠經(jīng)驗了。據(jù)說有那種層層迭代的反爬方法？上一個接受包含下一個請求的參數(shù)，但這種連環(huán)套路我還沒有正是爬成功過，所以也不敢斷言。

最后好想吐槽下這個實習(xí)，糟糕的老板（半懂不懂態(tài)度惡劣還固執(zhí)僵硬），年幼的開發(fā)團隊（真正在做事的就兩個學(xué)生，一個異地的組長，一個半吊子的我...），混亂的代碼管理（開發(fā)人員都是實習(xí)學(xué)生，更迭頻繁，導(dǎo)致代碼風(fēng)格迥異，可讀性健全性模塊化都好差）。別說公司給不給留任，我自己都不想做了，但一想這是珍貴的第一份IT實習(xí)啊，就有不想放棄，哎呀，好煩。

說到這里突然想起之前爬學(xué)校能源網(wǎng)站查電費時，它一個非登錄功能居然也要提供cookies才能成功響應(yīng)，不知道是不是和框架有關(guān)，但總覺得好多此一舉...

總結(jié)

以上是生活随笔為你收集整理的爬虫实习小结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。