urllib庫python內(nèi)置的HTTP請求庫

四個模塊:request,parse,error,rebotparser

一。request模塊

請求對象組成：url，參數(shù)，請求頭，請求體四部分。response = urllib.request.urlopen(url,data=None,timeout,..)

response = urllib.request.urlopen(Request對象)

Request對象urllib.request.Request(url,data,headers,method)

data是作為請求體進行傳遞的data = bytes(utllib.parse.urlencode(map),'utf-8')

headers的一些屬性：User-Agent : 有些服務(wù)器或 Proxy 會通過該值來判斷是否是瀏覽器發(fā)出的請求

Referer：有的服務(wù)器會識別headers中的referer是不是自己

Content-Type : 在使用 REST 接口時，服務(wù)器會檢查該值，用來確定 HTTP Body 中的內(nèi)容該怎樣解析。

application/xml ： 在 XML RPC，如 RESTful/SOAP 調(diào)用時使用

application/json ： 在 JSON RPC 調(diào)用時使用

application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用在使用服務(wù)器提供的 RESTful 或 SOAP 服務(wù)時， Content-Type 設(shè)置錯誤會導(dǎo)致服務(wù)器拒絕服務(wù)

例如headers={

'User-Agent':'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',

'Referer':'http://www.zhihu.com/articles'

}

response對象

響應(yīng)對象組成：狀態(tài)碼，響應(yīng)頭，響應(yīng)主體

狀態(tài)碼，響應(yīng)頭，響應(yīng)主體response.status

response.getheaders() ? ?/ ? response.getheaders("server")

response.read().decode('utf-8') ? ?# 如果不加decode，則返回的是bytes類型的流

二。parse模塊(URL解析和URL引用)

1.URL解析：urlparse將url解析成各個組件和urlunparse將組件拼裝成url

urlparseurllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)

# scheme指定協(xié)議類型，如果url中已經(jīng)存在，則scheme不起作用

＃allow_fragments為false時，fragment將為空，＃后的內(nèi)容將前移至path中，如果path之后的參數(shù)全為空

＃URL組成

URL:scheme://netloc/path;parameters?query#fragment

urljoin

將前后兩個url進行拼接，每個url分成６個部分，后面那個參數(shù)會被分割后會填充前面那個參數(shù)中分割后不存在的那個部分，雙方都有的話，將以前者為準urljoin('http://www.cwi.nl/%7Eguido/Python.html','FAQ.html')

>>>'http://www.cwi.nl/%7Eguido/FAQ.html'

urlencode

將字典轉(zhuǎn)為query的形式from urllib.parse import urlencode

params = {

'name' :'tim',

'age' :23

}

print(urlencode(params))

>>> name='tim'&age=23

urlunparse

將url的６個部分拼接成urldata = {'','',...}

三。error模塊

由request產(chǎn)生。主要存在兩個類：URLError，HTTPError(繼承URLError)

URLError屬性：reason

HTTPError屬性：code，reason，headers

四。rebotparser模塊

用來解析robots.txt文件，不常用。

五。高級用法

1. Opener

當(dāng)你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)。在前面，我們都是使用的默認的opener，也就是urlopen。它是一個特殊的opener，可以理解成opener的一個特殊實例，傳入的參數(shù)僅僅是url，data，timeout。

如果我們需要用到Cookie或者Proxy，只用這個opener是不能達到目的的，所以我們需要創(chuàng)建更一般的opener來實現(xiàn)對Cookie和Proxy的設(shè)置。

2. proxy代理import urllib.request

proxy_handler = ProxyHandler({'http':'http://127.0.0.1:9999',...})

opener = build_opener(proxy_handler)

response = opener.open('http://..')

3. Cookielib

主要用來提供可存儲的cookie對象。可以利用本模塊的CookieJar類的對象來捕獲cookie并在后續(xù)連接請求時重新發(fā)送。可以通過F12->Application->Cookies中查看

CookieJar —-派生—->FileCookieJar? —-派生—–>MozillaCookieJar和LWPCookieJarimport http.cookiejar

#聲明一個CookieJar對象實例來保存cookie

cookie = http.cookiejar,CookieJar()

#利用urllib庫request模塊的HTTPCookieProcessor對象來創(chuàng)建cookie處理器

handler=urllib.request.HTTPCookieProcessor(cookie)

#通過handler來構(gòu)建opener

opener=urllib.request.build_opener(handler)

#此處的open方法同urllib2的urlopen方法，也可以傳入request

response=opener.open('http://www.baidu.com')

for item in cookie:

print'Name = '+item.name

print'Value = '+item.value

使用MozillaCookieJar和LWPCookieJar可以將cookie保存到文件中，使用save來存儲，使用load來加載。#設(shè)置保存cookie的文件，同級目錄下的cookie.txt

filename='cookie.txt'

#聲明一個MozillaCookieJar對象實例來保存cookie，之后寫入文件

cookie=http.cookiejar.MozillaCookieJar(filename)

#利用urllib2庫的HTTPCookieProcessor對象來創(chuàng)建cookie處理器

handler=urllib2.request.HTTPCookieProcessor(cookie)

#通過handler來構(gòu)建opener

opener=urllib.request.build_opener(handler)

#創(chuàng)建一個請求，原理同urllib2的urlopen

response=opener.open("http://www.baidu.com")

#保存cookie到文件

cookie.save(ignore_discard=True,ignore_expires=True)

使用load來加載cookie文件到cookiecookie = http.cookiejar.MozillaCookieJar()

cookie.load(filename,ignore_discard=True,ignore_expires=True)

handler=urllib2.request.HTTPCookieProcessor(cookie)

#通過handler來構(gòu)建opener

opener=urllib.request.build_opener(handler)

#創(chuàng)建一個請求，原理同urllib2的urlopen

response=opener.open("http://www.baidu.com")

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的python3urllib常见使用_Python3 urllib常用操作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。