Python 的內(nèi)建模塊urllib提供了一系列用于操作url的方法

Get
urllib的request可以非常方便的抓取URL的內(nèi)容，通過GET發(fā)送一個請求到指定頁面，然后返回HTTP響應(yīng)

還可以模仿瀏覽器發(fā)送一個GET請求，需要request對象，通過向request對象中添加HTTP請求頭，就可以把請求偽裝為一個瀏覽器

Post
需要把參數(shù)以bytes類型傳入

Handler
如果還需要更復(fù)雜的控制，加入需要通過一個代理去登陸網(wǎng)站，需要使用proxyhandler模塊

urllib提供的功能就是通過程序完成各種各樣的HTTP請求，如果需要模仿瀏覽器完成特定功能，需要將請求偽裝為瀏覽器請求，偽裝的方法是先監(jiān)控瀏覽器發(fā)出的請求，然后再根據(jù)瀏覽器的請求頭來偽裝，User-Agent頭就是用來識別瀏覽器的

requests
requests是用于操作URl的第三方模塊，相比Python提供的內(nèi)建模塊urllib，此模塊使用起來更方便

使用GET訪問一個頁面

• 使用params參數(shù)傳入一個dict類型的參數(shù)做為訪問url的參數(shù)

• 使用headers參數(shù)，傳入一個dict類型的參數(shù)作為請求頭

requests默認使用application/x-www-form-urlencoded對POST數(shù)據(jù)編碼。如果要傳遞JSON數(shù)據(jù)，可以直接傳給json參數(shù)

params = {'key': 'value'} r = requests.post(url, json=params) # 內(nèi)部自動序列化為JSON

如果需要上傳文件，可以直接將一個file對象傳給files參數(shù)

>>> upload_files = {'file': open('report.xls', 'rb')} >>> r = requests.post(url, files=upload_files)

在讀取文件時，注意務(wù)必使用’rb’即二進制模式讀取，這樣獲取的bytes長度才是文件的長度。

把post()方法替換為put()，delete()等，就可以以PUT或DELETE方式請求資源。

除了能輕松獲取響應(yīng)內(nèi)容外，requests對獲取HTTP響應(yīng)的其他信息也非常簡單。

例如，獲取響應(yīng)頭

>>> r.headers {Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...} >>> r.headers['Content-Type'] 'text/html; charset=utf-8'

requests對Cookie做了特殊處理，使得我們不必解析Cookie就可以輕松獲取指定的Cookie

>>> r.cookies['ts'] 'example_cookie_12345'

要在請求中傳入Cookie，只需準(zhǔn)備一個dict傳入cookies參數(shù)

可以使用encoding屬性查看編碼

無論響應(yīng)的內(nèi)容是文本或者二進制文件，都可以使用content屬性獲取其bytes對象

如果響應(yīng)的是特定的類型，比如Json，可以使用json（）方法直接獲取

最后，要指定超時，傳入以秒為單位的timeout參數(shù)：

>>> r = requests.get(url, timeout=2.5) # 2.5秒后超時

XML

操作XML有兩種方法：DOM和SAX。DOM會把整個XML讀入內(nèi)存，解析為樹，因此占用內(nèi)存大，解析慢，優(yōu)點是可以任意遍歷樹的節(jié)點。SAX是流模式，邊讀邊解析，占用內(nèi)存小，解析快，缺點是我們需要自己處理事件。

正常情況下，優(yōu)先考慮SAX，因為DOM實在太占內(nèi)存。

注意使用attrs這個值

當(dāng)SAX解析器讀到一個節(jié)點時：

<a href="/">python</a>

會產(chǎn)生3個事件：

start_element事件，在讀取時；

char_data事件，在讀取python時；

end_element事件，在讀取時。

什么是事件呢？

''' 遇到問題沒人解答？小編創(chuàng)建了一個Python學(xué)習(xí)交流QQ群：857662006 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學(xué)習(xí)教程和PDF電子書！ ''' from xml.parsers.expat import ParserCreate class DefaultSaxHandler(object):def start_element(self,name,attrs):print('sax:start_element:%s,attrs:%s'%(name,str(attrs)))#這里可以寫 當(dāng)讀到這里時要發(fā)生的事件def end_element(self,name):print('sax:end_element:%s'%name)#這里可以寫 當(dāng)讀到這里時要發(fā)生的事件def char_data(self,text):print('sax:char_data:%s'%text)#這里可以寫 當(dāng)讀到這里時要發(fā)生的事件 xml = r'''<?xml version="1.0"?> <ol><li><a href="/python">Python</a></li><li><a href="/ruby">Ruby</a></li> </ol> ''' handler=DefaultSaxHandler() parser=ParserCreate() parser.StartElementHandler=handler.start_element parser.EndElementHandler=handler.end_element parser.CharacterDataHandler=handler.char_data parser.Parse(xml) #輸出 sax:start_element:ol,attrs:{} sax:char_data:sax:char_data: sax:start_element:li,attrs:{} sax:start_element:a,attrs:{'href': '/python'} sax:char_data:Python sax:end_element:a sax:end_element:li sax:char_data:sax:char_data: sax:start_element:li,attrs:{} sax:start_element:a,attrs:{'href': '/ruby'} sax:char_data:Ruby sax:end_element:a sax:end_element:li sax:char_data:sax:end_element:ol

需要注意的是讀取一大段字符串時，CharacterDataHandler可能被多次調(diào)用，所以需要自己保存起來，在EndElementHandler里面再合并。

除了解析XML外，如何生成XML呢？99%的情況下需要生成的XML結(jié)構(gòu)都是非常簡單的，因此，最簡單也是最有效的生成XML的方法是拼接字符串：

如果要生成復(fù)雜的XML呢？建議你不要用XML，改成JSON。

解析XML時，注意找出自己感興趣的節(jié)點，響應(yīng)事件時，把節(jié)點數(shù)據(jù)保存起來。解析完畢后，就可以處理數(shù)據(jù)。

比如可以解析XML數(shù)據(jù)獲得相關(guān)城市的天氣信息（略）

HTMLParser

當(dāng)我們爬取了網(wǎng)頁，下一步就是解析HTML頁面，看看里面的內(nèi)容，到底是圖片、視頻還是文本。

利用HTMLParser，可以把網(wǎng)頁中的文本、圖像等解析出來。

HTML本質(zhì)上是XML的子集，但是語法沒有XML要求的那么嚴格，所以不能通過標(biāo)準(zhǔn)的DOM或者SAX來解析HTML

好在Python提供了HTMLParser來非常方便地解析HTML，只需簡單幾行代碼：

注意使用attrs這個值，可以用來抽取鏈接、識別id為某個值元素

from html.parser import HTMLParser from html.entities import name2codepointclass MyHTMLParser(HTMLParser):def handle_starttag(self, tag, attrs):print('<%s>' % tag)def handle_endtag(self, tag):print('</%s>' % tag)def handle_startendtag(self, tag, attrs):print('<%s/>' % tag)#如img標(biāo)簽<img src="",alt=""/>def handle_data(self, data):print(data)def handle_comment(self, data):print('<!--', data, '-->')def handle_entityref(self, name):#解析特殊字符print('&%s;' % name)def handle_charref(self, name):#解析特殊字符print('&#%s;' % name)parser = MyHTMLParser() parser.feed('''<html> <head></head> <body> <!-- test html parser --><p>Some <a href=\"#\">html</a> HTML tutorial...<br>END</p> </body></html>''') #輸出 (sort) λ python fortest.py <html><head> </head><body><!-- test html parser --><p> Some <a> html </a>HTML tutorial... <br> END </p></body> </html>

feed()方法可以多次調(diào)用，也就是不一定一次把整個HTML字符串都塞進去，可以一部分一部分塞進去。

可是這樣怎么識別有特定id的標(biāo)簽?zāi)?#xff1f;，注意使用attrs這個值

''' 遇到問題沒人解答？小編創(chuàng)建了一個Python學(xué)習(xí)交流QQ群：857662006 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學(xué)習(xí)教程和PDF電子書！ ''' def find_id(self,id_name,attrs):for i in attrs:if id_name in i:return Truereturn Falsedef handle_starttag(self, tag, attrs):if self.find_id('test1',attrs):print('<%s%s>' %(tag,str(attrs)))passparser.feed('''<html> <head></head> <body> <!-- test html parser --><p class='test' id='test1'>Some <a href=\"#\">html</a> HTML tutorial...<br>END</p> </body></html>''')#輸出 pass <p[('class', 'test'), ('id', 'test1')]> pass

特殊字符有兩種，一種是英文表示的?，一種是數(shù)字表示的?，這兩種字符都可以通過Parser解析出來。

總結(jié)

以上是生活随笔為你收集整理的Python urllib与requests、XML和HTMLParser的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。