爬蟲以前聽上去好厲害好神秘的樣子，用好了可以成就像Google、百度這樣的索索引擎，用不好可以憑借不恰當的高并發分分鐘崩掉一個小型網站。寫到這里想到12306每年扛住的并發請求量，覺得好牛逼。

爬蟲和反爬蟲從一直以來都是一個道高一尺魔高一丈的架勢。反爬蟲技術增加了爬取的難度，各路crawler的爬取過程可以說是一個和各種網站站長斗智斗勇的過程，各種解決方式可謂層出不窮，但是這里說是“簡單”解決方案，肯定就是立足于一些比較基礎的方法，分分鐘就可以上手。

user_agent 偽裝和輪換

不同瀏覽器的不同版本都有不同的user_agent，是瀏覽器類型的詳細信息，也是瀏覽器提交Http請求的重要頭部信息。我們可以在每次請求的時候提供不同的user_agent，繞過網站檢測客戶端的反爬蟲機制。比如說，可以把很多的user_agent放在一個列表中，每次隨機選一個用于提交訪問請求。有一個提供各種user_agent的網站：

http://www.useragentstring.com/

最近又看到一個專門提供偽裝瀏覽器身份的開源庫，名字取得很直白：

fake-useragent

使用代理IP和輪換

檢查ip的訪問情況是網站的反爬機制最喜歡也最喜歡用的方式。這種時候就可以更換不同的ip地址來爬取內容。當然，你有很多有公網ip地址的主機或者vps是更好的選擇，如果沒有的話就可以考慮使用代理，讓代理服務器去幫你獲得網頁內容，然后再轉發回你的電腦。代理按透明度可以分為透明代理、匿名代理和高度匿名代理:

• 透明代理：目標網站知道你使用了代理并且知道你的源IP地址，這種代理顯然不符合我們這里使用代理的初衷
• 匿名代理：匿名程度比較低，也就是網站知道你使用了代理，但是并不知道你的源IP地址
• 高匿代理：這是最保險的方式，目標網站既不知道你使用的代理更不知道你的源IP?
  代理的獲取方式可以去購買，當然也可以去自己爬取免費的，這里有一個提供免費代理的網站，可以爬下來使用，但是免費的代理通常不夠穩定。

設置訪問時間間隔

很多網站的反爬蟲機制都設置了訪問間隔時間，一個IP如果短時間內超過了指定的次數就會進入“冷卻CD”，所以除了輪換IP和user_agent?
可以設置訪問的時間間間隔長一點，比如沒抓取一個頁面休眠一個隨機時間：

import time，random

time.sleep(random.random()*3)

對于一個crawler來說，這是一個比較responsible的做法。?
因為本來爬蟲就可能會給對方網站造成訪問的負載壓力，所以這種防范既可以從一定程度上防止被封，還可以降低對方的訪問壓力。

參考文獻

爬蟲偽裝瀏覽器的點擊行為

爬代理IP

互聯網網站的反爬蟲策略簡析

總結

以上是生活随笔為你收集整理的爬虫IP被禁的简单解决方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。