這篇文章將為大家詳細講解有關(guān)Python爬蟲之Get和Post請求是什么意思，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

在說 Get 和 Post 請求之前，我們先來看一下 url 的編碼和解碼，我們在瀏覽器的鏈接里如果輸入有中文的話，如：https://www.baidu.com/s?wd=貼吧，那么瀏覽器會自動為我們編碼成：https://www.baidu.com/s?wd=%E8%B4%B4%E5%90%A7，在 Python2.x 中我們需要使用 urllib 模塊的 urlencode 方法，但我們在之前的文章已經(jīng)說過之后的內(nèi)容以 Python3.x 為主，所以我們就說一下 Python3.x 中的編碼和解碼。

在 Python3.x 中，我們需要引入 urllib.parse 模塊，如下：

importurllib.parse
data={"kw":"貼吧"}
#通過urlencode()方法，將字典鍵值對按URL編碼轉(zhuǎn)換，從而能被web服務(wù)器接受。
data=urllib.parse.urlencode(data)
print(data)#kw=%E8%B4%B4%E5%90%A7
#通過unquote()方法，把URL編碼字符串，轉(zhuǎn)換回原先字符串。
data=urllib.parse.unquote(data)
print(data)#kw=貼吧

下面我們來看一下 Get 請求

GET請求一般用于我們向服務(wù)器獲取數(shù)據(jù)，比如說，我們用百度搜索 貼吧，結(jié)果如下：

在其中我們可以看到在請求部分里，http://www.baidu.com/s? 之后出現(xiàn)一個長長的字符串，其中就包含我們要查詢的關(guān)鍵詞貼吧，于是我們可以嘗試用默認的 Get 方式來發(fā)送請求。

importurllib.request
importurllib.parse
importssl

#取消代理驗證
ssl._create_default_https_context=ssl._create_unverified_context

#url地址
url="http://www.baidu.com/s"
word={"wd":"貼吧"}
word=urllib.parse.urlencode(word)#轉(zhuǎn)換成url編碼格式（字符串）
url=url+"?"+word#url首個分隔符就是?

#User-Agent
headers={"User-Agent":"Mozilla/5.0(Macintosh;IntelMacOSX10_14_4)AppleWebKit/537.36(KHTML,likeGecko)
Chrome/73.0.3683.103Safari/537.36"}

#url作為Request()方法的參數(shù)，構(gòu)造并返回一個Request對象
request=urllib.request.Request(url,headers=headers)

#Request對象作為urlopen()方法的參數(shù)，發(fā)送給服務(wù)器并接收響應(yīng)
response=urllib.request.urlopen(request)

#類文件對象支持文件對象的操作方法，如read()方法讀取文件全部內(nèi)容，返回字符串
html=response.read().decode("utf-8")

#打印字符串
print(html)

我們在請求頁面的時候?qū)⑽覀円獋鞯闹抵苯油ㄟ^轉(zhuǎn)碼拼接在 url 地址后面，然后就可以獲取到我們想要的內(nèi)容了，最終結(jié)果如下：

通過開發(fā)者工具看頁面的 HTML 和我們得到的結(jié)果是完全一致的。

接下來我們看一下 post 請求，先來看一個 post 請求接口：https://movie.douban.com/j/chart/top_list?type=11&interval_id=100:90&start=0&limit=10，該接口為豆瓣的一個電影列表接口，為 post 請求，url 問號后面的為請求參數(shù)，結(jié)果如下：

如果我們要使用 urllib 的 post 請求，則要在 Request 第二個參數(shù)加入我們想要的參數(shù)，如下：

importurllib.request
importurllib.parse
importssl

#取消代理驗證
ssl._create_default_https_context=ssl._create_unverified_context

#User-Agent
headers={"User-Agent":"Mozilla/5.0(Macintosh;IntelMacOSX10_14_4)AppleWebKit/537.36(KHTML,likeGecko)
Chrome/73.0.3683.103Safari/537.36"}
#post請求參數(shù)
data={
"type":"11",
"interval_id":"100:90",
"start":"0",
"limit":"10"
}
data=urllib.parse.urlencode(data).encode("utf-8")

#url作為Request()方法的參數(shù)，構(gòu)造并返回一個Request對象
request=urllib.request.Request("https://movie.douban.com/j/chart/top_list?",data=data,headers=headers)

#Request對象作為urlopen()方法的參數(shù)，發(fā)送給服務(wù)器并接收響應(yīng)
response=urllib.request.urlopen(request)

#類文件對象支持文件對象的操作方法，如read()方法讀取文件全部內(nèi)容，返回字符串
html=response.read().decode("utf-8")

#打印字符串
print(html)

urllib 默認的是 get 請求，urllib.request.Request() 里第一個參數(shù)為 url 地址，第二個參數(shù)為請求報頭 headers，請求包頭可以不寫。

urllib 默認的是 get 請求，urllib.request.Request() 里第一個參數(shù)為 url 地址，第二個參數(shù)為請求數(shù)據(jù) data，第三個參數(shù)為請求報頭 headers，請求包頭可以不寫。

最終結(jié)果如下：

和我們在頁面請求的結(jié)果是一樣的。

為什么有時候POST也能在URL內(nèi)看到數(shù)據(jù)？

GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數(shù)，服務(wù)器端用Request.QueryString獲取變量的值。如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什么內(nèi)容。

POST則不會在網(wǎng)址上顯示所有的參數(shù)，服務(wù)器端用Request.Form獲取提交的數(shù)據(jù)，在Form提交的時候。但是HTML代碼里如果不指定 method 屬性，則默認為GET請求，F(xiàn)orm中提交的數(shù)據(jù)將會附加在url之后，以?分開與url分開。

表單數(shù)據(jù)可以作為 URL 字段（method="get"）或者 HTTP POST （method="post"）的方式來發(fā)送。

總結(jié)

以上是生活随笔為你收集整理的Python爬虫之Get和Post请求是什么意思的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。