在使用python爬取網絡爬蟲時,經常會以為目標網站因為禁止爬取網絡爬蟲而出現403 Forbidden的錯誤

問:為什么會出現403 Forbidden的錯誤
答:出現urllib2.HTTPError: HTTP Error 403: Forbidden錯誤的原因主要是由于目標網站禁止爬蟲導致的，可以在請求加上請求頭信息.

問:那么應該如何解決呢?
答:只要模擬正常瀏覽器上網即可,比如添加一個headers

req = urllib.request.Request(url="http://en.wikipedia.org"+pageUrl)
html = urlopen(req)

在req中添加一個headers,使其變為

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}req = urllib.request.Request(url="http://en.wikipedia.org"+pageUrl, headers=headers)# req = urllib.request.Request(url="http://en.wikipedia.org"+pageUrl)html = urlopen(req)

問:headers如何查找?
答:可以利用在瀏覽器開發者工具中的網絡查找,比如火狐瀏覽器

問:偽裝成瀏覽器還會不會出現其他問題?
答:會,比如目標網站會封掉查詢次數過多ip地址

總結

以上是生活随笔為你收集整理的urllib2.HTTPError: HTTP Error 403: Forbidden的解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。