爬蟲有時(shí)會(huì)遭遇兩種情況,導(dǎo)致無(wú)法正常爬取
(1)IP封鎖,(貌似美團(tuán)會(huì)出現(xiàn))
(2)禁止機(jī)器人爬取,(比如Amazon)

解決方法:
我們以下面文章里的爬蟲代碼為例
http://blog.csdn.net/co_zy/article/details/77150544
其中的getHTMLText()函數(shù),更改如下,添加fakeHeaders ,proxies
這里的可以通過(guò)ip測(cè)試網(wǎng)站進(jìn)行驗(yàn)證是否成功使用了代理 http://ip.chinaz.com/

def getHTMLText(self,url):fakeHeaders = {'user-agent':'Mozilla/5.0'}proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } try:r = requests.get(url,headers = fakeHeaders , proxies=proxies,timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""

總結(jié)

以上是生活随笔為你收集整理的Python -bs4反爬虫解决方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。