在使用python爬取網(wǎng)絡(luò)爬蟲(chóng)時(shí),經(jīng)常會(huì)以為目標(biāo)網(wǎng)站因?yàn)榻古廊【W(wǎng)絡(luò)爬蟲(chóng)而出現(xiàn)403 Forbidden的錯(cuò)誤

問(wèn):為什么會(huì)出現(xiàn)403 Forbidden的錯(cuò)誤
答:出現(xiàn)urllib2.HTTPError: HTTP Error 403: Forbidden錯(cuò)誤的原因主要是由于目標(biāo)網(wǎng)站禁止爬蟲(chóng)導(dǎo)致的，可以在請(qǐng)求加上請(qǐng)求頭信息.

問(wèn):那么應(yīng)該如何解決呢?
答:只要模擬正常瀏覽器上網(wǎng)即可,比如添加一個(gè)headers

req = urllib.request.Request(url="http://en.wikipedia.org"+pageUrl)
html = urlopen(req)

在req中添加一個(gè)headers,使其變?yōu)?/p> headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}req = urllib.request.Request(url="http://en.wikipedia.org"+pageUrl, headers=headers)# req = urllib.request.Request(url="http://en.wikipedia.org"+pageUrl)html = urlopen(req)

問(wèn):headers如何查找?
答:可以利用在瀏覽器開(kāi)發(fā)者工具中的網(wǎng)絡(luò)查找,比如火狐瀏覽器

問(wèn):偽裝成瀏覽器還會(huì)不會(huì)出現(xiàn)其他問(wèn)題?
答:會(huì),比如目標(biāo)網(wǎng)站會(huì)封掉查詢次數(shù)過(guò)多ip地址

總結(jié)

以上是生活随笔為你收集整理的urllib2.HTTPError: HTTP Error 403: Forbidden的解决方案的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。