urllib默認只支持HTTP/HTTPS的GET和POST方法

GET方式

GET請求一般用于我們向服務器獲取數據，比如說，我們用百度搜索django,瀏覽器url會跳轉成如下所示:
https://www.baidu.com/s?wd=django

在其中我們可以看到在請求部分里，http://www.baidu.com/s? 之后出現一個長長的字符串，其中就包含我們要查詢的關鍵詞django，于是我們可以嘗試用默認的Get方式來發送請求:

# urllib_get.pyimport urllib.request import urllib.parse # 負責url編碼處理url = "http://www.baidu.com/s"keyword = input("請輸入需要查詢的字符串:")wd = {"wd": keyword}headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36" }# 通過urllib.parse.urlencode()轉換成url編碼格式(字符串) 參數是一個dict類型 wd = urllib.parse.urlencode(wd)# 拼接完整的url fullurl = url + "?" + wd# 輸出url print(fullurl)# 構造請求對象 request = urllib.request.Request(fullurl, headers = headers)response = urllib.request.urlopen(request)print(response.read().decode('utf-8'))

批量爬取貼吧頁面數據
首先我們創建一個python文件, tiebaSpider.py，我們要完成的是，輸入一個百度貼吧的地址，比如：

百度貼吧LOL吧第一頁：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0

第二頁： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50

第三頁： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100

發現規律了吧，貼吧中每個頁面不同之處，就是url最后的pn的值，其余的都是一樣的，我們可以抓住這個規律。

簡單寫一個小爬蟲程序，來爬取百度LOL吧的所有網頁。

• 先寫一個main，提示用戶輸入要爬取的貼吧名，并用urllib.parse.urlencode()進行轉碼，然后組合url，假設是lol吧，那么組合后的url就是：http://tieba.baidu.com/f?kw=lol

# 模擬main函數 if __name__ == "__main__":kw = input("請輸入要爬取的貼吧:")# 輸入起始頁和終止頁,str轉換為int類型beginPage = int(input("請輸入起始頁:"))endPage = int(input("請輸入終止頁:"))url = "http://tieba.baidu.com/f?"key = urllib.parse.urlencode({"kw": kw})# 組合urlurl = url + keytiebaSpider(url, beginPage, endPage)

• 接下來，我們寫一個百度貼吧爬蟲接口，我們需要傳遞3個參數給這個接口， 一個是main里組合的url地址，以及起始頁碼和終止頁碼，表示要爬取頁碼的范圍。

def tiebaSpider(url, beginPage, endPage):"""作用:負責處理url,分配每個url去發送請求url:需要處理的第一個urlbeginPage:爬蟲執行的初始頁面endPage:爬蟲執行的截止頁面"""for page in range(beginPage, endPage + 1):pn = (page - 1) *50filename = "第" + str(page) + "頁.html"# 組合為完整的url,并且pn值每次增加50fullurl = url + "&pn=" + str(pn)# 調用loadPage()發送請求獲取HTML頁面html = loadPage(fullurl, filename)# 將獲取到的HTML頁面寫入本地磁盤writeFile(html, filename)

• 我們已經之前寫出一個爬取一個網頁的代碼?，F在，我們可以將它封裝成一個小函數loadPage，供我們使用。

def loadPage(url, filename):"""作用:根據url發送請求,獲取服務器響應文件url:需要爬去的url地址filename:文件名"""print("正在下載" + filename)headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}request = urllib.request.Request(url, headers=headers)response = urllib.request.urlopen(request)return response.read()

• 最后如果我們希望將爬取到了每頁的信息存儲在本地磁盤上，我們可以簡單寫一個存儲文件的接口。

def writeFile(html, filename):"""作用:保存服務器響應文件到本地磁盤文件里html:服務器響應文件filename:本地磁盤文件名"""print("正在存儲" + filename)with open(filename, 'w') as f:# 將爬取的html編碼為'utf-8'類型的字符串f.write(html.decode('utf-8'))print('-' * 20) 其實很多網站都是這樣的，同類網站下的html頁面編號，分別對應網址后的網頁序號，只要發現規律就可以批量爬取頁面了。

POST方式

上面我們說了Request請求對象的里有data參數，它就是用在POST里的，我們要傳送的數據就是這個參數data，data是一個字典，里面要匹配鍵值對。

有道詞典翻譯網站

輸入測試數據，再通過使用Fiddler觀察，其中有一條是POST請求，而向服務器發送的請求數據并不是在url里，那么我們可以試著模擬這個POST請求。

注:fiddler(抓包工具)具體使用請大家自行學習

接下來,我們可以嘗試用POST方式發送請求。

import urllib.request import urllib.parse# POST請求的目標URL url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"headers={"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}formdata = {"type":"AUTO","i":"i love python","doctype":"json","xmlVersion":"1.8","keyfrom":"fanyi.web","ue":"UTF-8","action":"FY_BY_ENTER","typoResult":"true" }# POST數據應該是字節、可迭代的字節或文件對象。它不能是str類型。 data = urllib.parse.urlencode(formdata).encode('utf-8')request = urllib.request.Request(url, data = data, headers = headers) response = urllib.request.urlopen(request) print(response.read().decode('utf-8'))

發送POST請求時，需要特別注意headers的一些屬性：

Content-Length: 144： 是指發送的表單數據長度為144，也就是字符個數是144個。X-Requested-With: XMLHttpRequest ：表示Ajax異步請求。Content-Type: application/x-www-form-urlencoded ： 表示瀏覽器提交 Web 表單時使用，表單數據會按照 name1=value1&name2=value2 鍵值對形式進行編碼。

獲取AJAX加載的內容

有些網頁內容使用AJAX加載，只要記得，AJAX一般返回的是JSON,直接對AJAX地址進行post或get，就返回JSON數據了。
"作為一名爬蟲工程師，你最需要關注的，是數據的來源"

# 獲取豆瓣后臺數據 import urllib.request import urllib.parse# demo1 url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action"headers={"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}# 變動的是這兩個參數，從start開始往后顯示limit個 formdata = {'start':'0','limit':'10' }# POST數據應該是字節、可迭代的字節或文件對象。它不能是str類型。 data = urllib.parse.urlencode(formdata).encode('utf-8')request = urllib.request.Request(url, data = data, headers = headers) response = urllib.request.urlopen(request)print(response.read().decode('utf-8'))# demo2 url = "https://movie.douban.com/j/chart/top_list?" headers={"User-Agent": "Mozilla...."}# 處理所有參數 formdata = {'type':'11','interval_id':'100:90','action':'','start':'0','limit':'10' } data = urllib.parse.urlencode(formdata).encode('utf-8')request = urllib.request.Request(url, data = data, headers = headers) response = urllib.request.urlopen(request)print(response.read().decode('utf-8'))

問題：為什么有時候POST也能在URL內看到數據？

GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數，服務器端用Request.QueryString獲取變量的值。如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什么內容。POST則不會在網址上顯示所有的參數，服務器端用Request.Form獲取提交的數據，在Form提交的時候。但是HTML代碼里如果不指定 method 屬性，則默認為GET請求，Form中提交的數據將會附加在url之后，以?分開與url分開。表單數據可以作為 URL 字段（method="get"）或者 HTTP POST （method="post"）的方式來發送。比如在下面的HTML代碼中，表單數據將因為 （method="get"） 而附加到 URL 上： <form action="form_action.asp" method="get"><p>First name: <input type="text" name="fname" /></p><p>Last name: <input type="text" name="lname" /></p><input type="submit" value="Submit" /> </form>

處理HTTPS請求 SSL證書驗證

現在隨處可見 https 開頭的網站，urllib可以為 HTTPS 請求驗證SSL證書，就像web瀏覽器一樣，如果網站的SSL證書是經過CA認證的，則能夠正常訪問，如：https://www.baidu.com/等...

如果SSL證書驗證不通過，或者操作系統不信任服務器的安全證書，比如瀏覽器在訪問12306網站如：https://www.12306.cn/mormhweb/的時候，會警告用戶證書不受信任。（據說 12306 網站證書是自己做的，沒有通過CA認證）

例如,urllib在訪問未驗證ssl證書的網站的時候則會報出SSLError：

import urllib.request import ssl# 處理HTTPS請求 SSL證書驗證 忽略認證 比如12306 網站 url = "https://www.12306.cn/mormhweb/" headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}request = urllib.request.Request(url, headers=header) res = urllib.request.urlopen(request)

會報錯

ssl.CertificateError: hostname 'www.12306.cn' doesn't match either of 'webssl.

所以，如果以后遇到這種網站，我們需要單獨處理SSL證書，讓程序忽略SSL證書驗證錯誤，即可正常訪問。

import urllib.request # 1. 導入Python SSL處理模塊 import ssl# 處理HTTPS請求 SSL證書驗證 忽略認證 比如12306 網站 url = "https://www.12306.cn/mormhweb/" headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}request = urllib.request.Request(url, headers=header)# 2. 表示忽略未經核實的SSL證書認證 context = ssl._create_unverified_context()# 3. 在urlopen()方法里 指明添加 context 參數 res = urllib.request.urlopen(request, context=context) print(res.read().decode("utf8"))

關于CA

CA(Certificate Authority)是數字證書認證中心的簡稱，是指發放、管理、廢除數字證書的受信任的第三方機構，如北京數字認證股份有限公司、上海市數字證書認證中心有限公司等...

CA的作用是檢查證書持有者身份的合法性，并簽發證書，以防證書被偽造或篡改，以及對證書和密鑰進行管理。

現實生活中可以用身份證來證明身份， 那么在網絡世界里，數字證書就是身份證。和現實生活不同的是，并不是每個上網的用戶都有數字證書的，往往只有當一個人需要證明自己的身份的時候才需要用到數字證書。

普通用戶一般是不需要，因為網站并不關心是誰訪問了網站，現在的網站只關心流量。但是反過來，網站就需要證明自己的身份了。

比如說現在釣魚網站很多的，比如你想訪問的是www.baidu.com，但其實你訪問的是www.daibu.com”，所以在提交自己的隱私信息之前需要驗證一下網站的身份，要求網站出示數字證書。

一般正常的網站都會主動出示自己的數字證書，來確?？蛻舳撕途W站服務器之間的通信數據是加密安全的。

轉載于:https://www.cnblogs.com/qiuhengg/p/10014087.html

總結

以上是生活随笔為你收集整理的Python爬虫入门之四urllib-GET与POST请求的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。