做技術的或者是互聯(lián)網(wǎng)行業(yè)的人可能都比較清楚，網(wǎng)絡爬蟲對于互聯(lián)網(wǎng)的共享是非常大的，其中有超過一半的流量都是網(wǎng)絡爬蟲的貢獻，如果一個網(wǎng)站不設置發(fā)爬蟲機制，那就會成為一個透明的研究所一樣，所有的信息都會公開化，所以在沒有其他特殊性的情況下，所有的網(wǎng)站都會設置發(fā)爬蟲機制，但是，就算是這樣，網(wǎng)絡爬蟲還是有辦法進行反爬蟲的機制土坯。今天犀牛代理IP就給大家介紹一部分常見的反網(wǎng)絡爬蟲以及應對反網(wǎng)絡爬蟲的突破方法。

??

1.動態(tài)頁面的限制

? ?爬蟲工作者可能會遇到這樣的尷尬，當你抓取下目標頁面之后，你發(fā)現(xiàn)，關鍵信息處一片空白，只有密密麻麻一片的框架代碼，這是因為該網(wǎng)站的信息是通過用戶Post的XHR動態(tài)返回內(nèi)容信息，解決這種問題就是要通過開發(fā)者工具（FireBug等）對網(wǎng)站流進行分析，對內(nèi)容信息進行抓取，獲取所需要的內(nèi)容。

? ?那么更復雜一些的就是對動態(tài)請求進行加密，參數(shù)滅有辦法進行解析，便也是沒有辦法進行抓取。在這樣的情況之下

，可以通過Mechanize，selenium RC，調(diào)用瀏覽器內(nèi)核，就像真實使用瀏覽器上網(wǎng)那樣進行抓取，抓取的成功率會大幅度上升，但是抓取速度卻不敢恭維

?

?

? ? 經(jīng)測試，用urllib抓取拉勾網(wǎng)招聘信息30頁所需時間為三十多秒，而用模擬瀏覽器內(nèi)核抓取需要2--3分鐘。

?

?

? ? 2.用戶行為檢測

?

? 有一些是網(wǎng)站通過檢測和分析一些用戶的行為，比如說是針對cookies，通過檢查cookies來判斷用戶是不是可以利用和保存的有效客戶，通常是需要登陸的網(wǎng)站，經(jīng)常會采用這樣的技術。層次再深的還有，信息驗證，部分網(wǎng)站的登陸是需要驗證嗎的驗證的，就像登陸的時候，系統(tǒng)會自動分配出驗證碼，authenticity_token，authenticity_token會和用戶提交的登錄名和密碼一起發(fā)送回服務器。? ??

?

? ?3.IP的訪問頻率被限制

? ??部分訪問是存在著惡意性質(zhì)的，一些平臺為了防止這種情況的發(fā)生，會在某個同一個IP在單元時間內(nèi)超過一定的次數(shù)的時候，將禁止這個IP繼續(xù)訪問。對于這個限制IP訪問效率，可以使用代理IP的方法來解決問題。網(wǎng)上有很多代理IP的資源，也有一些是免費的，但是免費代理的弊端還是不少的，你就例如說匿名性就不是特別的號，很容易就會被賭坊檢測出來你在使用代理IP，但是購買像是犀牛代理IP的這種，不僅僅可以保障你的質(zhì)量，而且匿名性也好，你可以放心的在任何平臺上進行使用，提高工作效率。

?

?以上簡單的說了三種常見的反爬蟲已經(jīng)反爬蟲的應對方法，一般來講越高級的爬蟲被封鎖的機率救會越低，但是性能會比較低一些，成本上相對也會比較高一點。當成本高到一定的程度了，我們便可以無需再對爬蟲進行封鎖。

轉(zhuǎn)載于:https://www.cnblogs.com/xiniudaili/p/10298420.html

總結(jié)

以上是生活随笔為你收集整理的反网络爬虫以及解决方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。