日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

【Python3 爬虫】03_urllib.error异常处理

發(fā)布時間:2025/3/20 python 21 豆豆
生活随笔 收集整理的這篇文章主要介紹了 【Python3 爬虫】03_urllib.error异常处理 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

urllib.error可以接受來自urllib.request產生的異常。urllib.error有兩個方法:①URLError ②HTTPError

URLError

URLError產生的原因

①網絡無連接,即本機無法上網

②連接不到特定的服務器

③服務器不存在

運行結果表明:連接超時

HTTPError

HTTPError是URLError的子類,在你利用URLopen方法發(fā)出一個請求時,服務器上都會對應一個應答對象response,其中他包含一個數(shù)字“狀態(tài)碼”,例如response是一個重定向,需定位到別的地址獲取文檔,urllib將對此進行處理。

其他不能處理的,URLopen會產生一個HTTPError,對應相應的狀態(tài)碼,HTTP狀態(tài)碼表示HTTP協(xié)議所返回的響應的狀態(tài)。狀態(tài)碼歸結如下:

100:繼續(xù)? 客戶端應當繼續(xù)發(fā)送請求。客戶端應當繼續(xù)發(fā)送請求的剩余部分,或者如果請求已經完成,忽略這個響應。

101: 轉換協(xié)議? 在發(fā)送完這個響應最后的空行后,服務器將會切換到在Upgrade 消息頭中定義的那些協(xié)議。只有在切換新的協(xié)議更有好處的時候才應該采取類似措施。

102:繼續(xù)處理?? 由WebDAV(RFC 2518)擴展的狀態(tài)碼,代表處理將被繼續(xù)執(zhí)行。

200:請求成功????? 處理方式:獲得響應的內容,進行處理

201:請求完成,結果是創(chuàng)建了新資源。新創(chuàng)建資源的URI可在響應的實體中得到??? 處理方式:爬蟲中不會遇到

202:請求被接受,但處理尚未完成??? 處理方式:阻塞等待

204:服務器端已經實現(xiàn)了請求,但是沒有返回新的信 息。如果客戶是用戶代理,則無須為此更新自身的文檔視圖。??? 處理方式:丟棄

300:該狀態(tài)碼不被HTTP/1.0的應用程序直接使用, 只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。??? 處理方式:若程序中能夠處理,則進行進一步處理,如果程序中不能處理,則丟棄
301:請求到的資源都會分配一個永久的URL,這樣就可以在將來通過該URL來訪問此資源??? 處理方式:重定向到分配的URL

302:請求到的資源在一個不同的URL處臨時保存???? 處理方式:重定向到臨時的URL

304:請求的資源未更新???? 處理方式:丟棄

400:非法請求???? 處理方式:丟棄

401:未授權???? 處理方式:丟棄

403:禁止???? 處理方式:丟棄

404:沒有找到???? 處理方式:丟棄

500:服務器內部錯誤? 服務器遇到了一個未曾預料的狀況,導致了它無法完成對請求的處理。一般來說,這個問題都會在服務器端的源代碼出現(xiàn)錯誤時出現(xiàn)。

501:服務器無法識別? 服務器不支持當前請求所需要的某個功能。當服務器無法識別請求的方法,并且無法支持其對任何資源的請求。

502:錯誤網關? 作為網關或者代理工作的服務器嘗試執(zhí)行請求時,從上游服務器接收到無效的響應。

503:服務出錯?? 由于臨時的服務器維護或者過載,服務器當前無法處理請求。這個狀況是臨時的,并且將在一段時間以后恢復
HTTPError實例產生后會有一個code屬性,這就是服務器發(fā)送的相關錯誤號。因為urllib可以為你處理重定向,也就是3開頭的代號可以被處理,并且100-299范圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。

下面我們寫一個例子來感受一下,捕獲的異常是HTTPError,它會帶有一個code屬性,就是錯誤代號,另外我們又打印了reason屬性,這是它的父類URLError的屬性。

404

Not Found

結果分析:錯誤代碼是404,錯誤原因是Not Found找不到網頁

HTTPError與URLError一起使用

最后值得注意的一點是,如果想用HTTPError和URLError一起捕獲異常,那么需要將HTTPError放在URLError的前面,因為HTTPError是URLError的一個子類。如果URLError放在前面,出現(xiàn)HTTP異常會先響應URLError,這樣HTTPError就捕獲不到錯誤信息了。

使用hasattr函數(shù)判斷URLError含有的屬性,如果含有reason屬性表明是URLError,如果含有code屬性表明是HTTPError

總結

以上是生活随笔為你收集整理的【Python3 爬虫】03_urllib.error异常处理的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。