本節(jié)在這里主要說(shuō)的是 URLError 還有 HTTPError，以及對(duì)它們的一些處理

1.URLError

首先解釋下 URLError 可能產(chǎn)生的原因：

• 網(wǎng)絡(luò)無(wú)連接，即本機(jī)無(wú)法上網(wǎng)
• 連接不到特定的服務(wù)器
• 服務(wù)器不存在

在代碼中，我們需要用 try-except 語(yǔ)句來(lái)包圍并捕獲相應(yīng)的異常。下面是一個(gè)例子

import urllib2requset = urllib2.Request('http://www.xxxxx.com') try:urllib2.urlopen(request) except urllib2.URLError, e:print e.reason

結(jié)果：

[Errno 11004] getaddrinfo failed

2.HTTPError

HTTPError 是 URLError 的子類(lèi)，在你利用 urlopen 方法發(fā)出一個(gè)請(qǐng)求時(shí)，服務(wù)器上都會(huì)對(duì)應(yīng)一個(gè)應(yīng)答對(duì)象 response，其中它包含一個(gè)數(shù)字” 狀態(tài)碼”。舉個(gè)例子，假如 response 是一個(gè)” 重定向”，需定位到別的地址獲取文檔，urllib2 將對(duì)此進(jìn)行處理。 其他不能處理的，urlopen 會(huì)產(chǎn)生一個(gè) HTTPError，對(duì)應(yīng)相應(yīng)的狀態(tài)嗎，HTTP 狀態(tài)碼表示 HTTP 協(xié)議所返回的響應(yīng)的狀態(tài)。下面將狀態(tài)碼歸結(jié)如下：

• 100：繼續(xù) 客戶(hù)端應(yīng)當(dāng)繼續(xù)發(fā)送請(qǐng)求。客戶(hù)端應(yīng)當(dāng)繼續(xù)發(fā)送請(qǐng)求的剩余部分，或者如果請(qǐng)求已經(jīng)完成，忽略這個(gè)響應(yīng)。
• 101： 轉(zhuǎn)換協(xié)議 在發(fā)送完這個(gè)響應(yīng)最后的空行后，服務(wù)器將會(huì)切換到在 Upgrade 消息頭中定義的那些協(xié)議。只有在切換新的協(xié)議更有好處的時(shí)候才應(yīng)該采取類(lèi)似措施。
• 102：繼續(xù)處理 由 WebDAV（RFC 2518）擴(kuò)展的狀態(tài)碼，代表處理將被繼續(xù)執(zhí)行。
• 200：請(qǐng)求成功 處理方式：獲得響應(yīng)的內(nèi)容，進(jìn)行處理
• 201：請(qǐng)求完成，結(jié)果是創(chuàng)建了新資源。新創(chuàng)建資源的 URI 可在響應(yīng)的實(shí)體中得到 處理方式：爬蟲(chóng)中不會(huì)遇到
• 202：請(qǐng)求被接受，但處理尚未完成 處理方式：阻塞等待
• 204：服務(wù)器端已經(jīng)實(shí)現(xiàn)了請(qǐng)求，但是沒(méi)有返回新的信 息。如果客戶(hù)是用戶(hù)代理，則無(wú)須為此更新自身的文檔視圖。 處理方式：丟棄
• 300：該狀態(tài)碼不被 HTTP/1.0 的應(yīng)用程序直接使用， 只是作為 3XX 類(lèi)型回應(yīng)的默認(rèn)解釋。存在多個(gè)可用的被請(qǐng)求資源。 處理方式：若程序中能夠處理，則進(jìn)行進(jìn)一步處理，如果程序中不能處理，則丟棄
• 301：請(qǐng)求到的資源都會(huì)分配一個(gè)永久的 URL，這樣就可以在將來(lái)通過(guò)該 URL 來(lái)訪問(wèn)此資源 處理方式：重定向到分配的 URL
• 302：請(qǐng)求到的資源在一個(gè)不同的 URL 處臨時(shí)保存 處理方式：重定向到臨時(shí)的 URL
• 304：請(qǐng)求的資源未更新 處理方式：丟棄
• 400：非法請(qǐng)求 處理方式：丟棄
• 401：未授權(quán) 處理方式：丟棄
• 403：禁止 處理方式：丟棄
• 404：沒(méi)有找到 處理方式：丟棄
• 500：服務(wù)器內(nèi)部錯(cuò)誤 服務(wù)器遇到了一個(gè)未曾預(yù)料的狀況，導(dǎo)致了它無(wú)法完成對(duì)請(qǐng)求的處理。一般來(lái)說(shuō)，這個(gè)問(wèn)題都會(huì)在服務(wù)器端的源代碼出現(xiàn)錯(cuò)誤時(shí)出現(xiàn)。
• 501：服務(wù)器無(wú)法識(shí)別 服務(wù)器不支持當(dāng)前請(qǐng)求所需要的某個(gè)功能。當(dāng)服務(wù)器無(wú)法識(shí)別請(qǐng)求的方法，并且無(wú)法支持其對(duì)任何資源的請(qǐng)求。
• 502：錯(cuò)誤網(wǎng)關(guān) 作為網(wǎng)關(guān)或者代理工作的服務(wù)器嘗試執(zhí)行請(qǐng)求時(shí)，從上游服務(wù)器接收到無(wú)效的響應(yīng)。
• 503：服務(wù)出錯(cuò) 由于臨時(shí)的服務(wù)器維護(hù)或者過(guò)載，服務(wù)器當(dāng)前無(wú)法處理請(qǐng)求。這個(gè)狀況是臨時(shí)的，并且將在一段時(shí)間以后恢復(fù)。

HTTPError 實(shí)例產(chǎn)生后會(huì)有一個(gè) code 屬性，這就是是服務(wù)器發(fā)送的相關(guān)錯(cuò)誤號(hào)。 因?yàn)?urllib2 可以為你處理重定向，也就是 3 開(kāi)頭的代號(hào)可以被處理，并且 100-299 范圍的號(hào)碼指示成功，所以你只能看到 400-599 的錯(cuò)誤號(hào)碼。 下面我們寫(xiě)一個(gè)例子來(lái)感受一下，捕獲的異常是 HTTPError，它會(huì)帶有一個(gè) code 屬性，就是錯(cuò)誤代號(hào)，另外我們又打印了 reason 屬性，這是它的父類(lèi) URLError 的屬性。

import urllib2req = urllib2.Request('http://blog.csdn.net/cqcre') try:urllib2.urlopen(req) except urllib2.HTTPError, e:print e.codeprint e.reason

結(jié)果：

403 Forbidden

錯(cuò)誤代號(hào)是 403，錯(cuò)誤原因是 Forbidden，說(shuō)明服務(wù)器禁止訪問(wèn)。 我們知道，HTTPError 的父類(lèi)是 URLError，根據(jù)編程經(jīng)驗(yàn)，父類(lèi)的異常應(yīng)當(dāng)寫(xiě)到子類(lèi)異常的后面，如果子類(lèi)捕獲不到，那么可以捕獲父類(lèi)的異常，所以上述的代碼可以這么改寫(xiě)

import urllib2req = urllib2.Request('http://blog.csdn.net/cqcre') try:urllib2.urlopen(req) except urllib2.HTTPError, e:print e.code except urllib2.URLError, e:print e.reason else:print "OK"

如果捕獲到了 HTTPError，則輸出 code，不會(huì)再處理 URLError 異常。如果發(fā)生的不是 HTTPError，則會(huì)去捕獲 URLError 異常，輸出錯(cuò)誤原因。 另外還可以加入 hasattr 屬性提前對(duì)屬性進(jìn)行判斷，以免出現(xiàn)屬性輸出報(bào)錯(cuò)的現(xiàn)象。代碼改寫(xiě)如下

import urllib2req = urllib2.Request('http://blog.csdn.net/cqcre') try:urllib2.urlopen(req) except urllib2.URLError, e:if hasattr(e,"reason"):print e.reason else:print "OK"

總結(jié)

以上是生活随笔為你收集整理的Python爬虫入门五URLError异常处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。