POST請求

import requestsdata = {'name': 'cxc', 'age': 18} r = requests.post("http://httpbin.org/post", data=data) print(r.text)

POST請求

這樣就成功地獲得了返回結果，form部分就是提交的數據，證明POST請求成功發送了。

響應

之前我們使用了text和content來獲得響應的內容。除此之外我們還可以用其他方法來獲得類似狀態碼，響應頭，Cookies等。

import requestsr = requests.get("http://www.jianshu.com") print(type(r.status_code), r.status_code) print(type(r.headers), r.headers) print(type(r.cookies), r.cookies) print(type(r.url), r.url) print((type(r.history)), r.history)

響應

status_code得到響應碼，headers得到響應頭，cookies得到Cookies，url得到URL，history得到請求歷史。

---

高級用法

1.文件上傳

import requestsfiles = {'file': open('favicon.ico', 'rb')} r = requests.post("http://httpbin.org/post", files=files) print(r.text)

這樣就可以上傳圖標到網站，會返回file字段。

2.Cookies

import requestsr = requests.get('https://www.baidu.com') print(r.cookies) for key, value in r.cookies.items():print(key + '=' + value)

Cookies

這里調用cookies屬性即可獲得Cookies，它是一個RequestCookieJar類型。可以用items()方法來將其轉化為元組組成的列表，來輸出每個Cookie的名稱和值。

以知乎為例，打開開發者工具，復制headers中的cookie。在headers里設置cookie。

import requestsheaders = {'Cookie': '''_zap=c9f7b39e-9cdf-4711-b609-5b144de76c06;d_c0="ANDsYo2hHBCPTtUZ9OAejUIO3cPeBA2-58c=|1569579305"; __utma=155987696.795654319.1573700494.1573700494.1573700494.1;__utmz=155987696.1573700494.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _ga=GA1.2.795654319.1573700494; _xsrf=nYGEgZG2TzVwoXUaFG8g1QeZ6540lwjv; _gid=GA1.2.2132724163.1587571856; capsion_ticket="2|1:0|10:1587571858|14:capsion_ticket|44:MGY1ZTE0ZTRkZDZlNDQ0MDlhYzFkMmJhMGZlZjM0ODY=|88d210cfef5b28bae92224d8de1db6ec228d8dc10a9b05a289d6d55643003727"; l_n_c=1; r_cap_id="YjgyMWMzMzgxMmRhNGJkMzg5MzJmYTZhOWVlZjgwODE=|1587571863|67548daa6da1bae647ac06049e3d1cd9b94d516a"; cap_id="ODE1NTEzNWZkMmQxNDdlMzhlZWMwMGNhYTUyYjhiNTg=|1587571863|193a26bd8d0e7594706d33da0da505b781f369cb"; l_cap_id="NjBiNzJjMTMwY2I3NGQwY2I0NTY4MjFjNDQ4MDcwM2E=|1587571863|b7b7c5463efeb9f5618593e73a710a7d64a2ff13"; n_c=1; z_c0=Mi4xeEItekJ3QUFBQUFBME94aWphRWNFQmNBQUFCaEFsVk4xYnFOWHdDZ3lWWHYwc3RUb3dKQ24yaUNlZE8zWjJ5akhB|1587571925|394733fa0f1887f584327e807eabc779c2c7b18b; tst=r; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1587008375,1587482507,1587571858,1587605776; q_c1=cd8e859bd3664b63acb02dd3e5bfb29c|1587605777000|1570587075000; _gat_gtag_UA_149949619_1=1; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1587612593; SESSIONID=aFLEvMRLqeRKvTfgwkfxy61SHi9vWB7J2UUu5ei9q63; KLBRSID=d1f07ca9b929274b65d830a00cbd719a|1587612596|1587605301; JOID=UF8RAklay1wn2rUUYVleQRfF7zh2Po4VYaz9RSgrqw1pr-F3BejG-3rfsxJn3GTATrMuKSiE-BOqn0XDIf-qOzk=; osd=V10TBU5dyV4g3bIWY15ZRhXH6D9xPIwSZqv_Ry8srA9rqOZwB-rB_H3dsRVg22bCSbQpKyqD_xSonULEJv2oPD4=''','Host': 'www.zhihu.com','User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", } r = requests.get('https://www.zhihu.com', headers=headers) print(r.text)

cookies

返回的結果里面包含了登錄后的結果，就證明登陸成功了。

3.會話維持

在requests中，當我們使用post（）和get（）時我們時打開了兩個瀏覽器，當我們用post（）打開頁面時，再用get()去請求個人信息時會失敗。

新的方法——Session對象

用舊方法兩次get()的結果會得到如下

兩次get()

當我們引入Session對象時

import requestss = requests.Session() s.get("http://httpbin.org/cookies/set/number/123456789") r = s.get('http://httpbin.org/cookies') print(r.text)

Session對象

現在我們就可以獲得當前的cookies了。

4.SSL證書驗證

requests提供了證書驗證功能，當發送HTTP請求時，會檢查SSL證書，可以使用verify參數控制是否檢查證書。

import requestsresponse = requests.get('https://www.12306.cn', verify=False) print(response.status_code)

SSL證書

這時會打印出請求成功的狀態碼，但會報一個警告，建議我們給他指定的證書，可以通過設置忽略警告來屏蔽它。

import requests from requests.packages import urllib3urllib3.disable_warnings() response = requests.get('https://www.12306.cn', verify=False) print(response.status_code)

5.代理設置

對于某些網站當我們開始大規模爬取時，可能會彈出驗證碼或者返回登陸頁，甚至會封禁IP。為了防止這種情況發生，我們可以用代理來解決問題，需要使用到proxies參數來實現。

import requestsproxies = {"http": "http://10.10.1.10:3128","https": "http://10.10.1.10:1080", } r = requests.get("http://www.taobao.com", proxies=proxies) print(r.text)

代理換成自己的有效代理即可。

若代理需要使用HTTP Basic Auth，可以使用類似http://user:password@host:port 這樣的語法來設置代理。

requests同時支持SOCKS協議的代理，需要安裝socks庫。

6.超時設置

使用timeout參數設置。

import requestsr = requests.get("https://www.taobao.com", timeout=1) print(r.status_code)

請求分為兩個階段，connect和read，我們可以分別指定時間——timeout=（5,10,30）。如果不設置的話可以timeout=None或者不加參數。

7.身份認證

import requests from requests.auth import HTTPBasicAuthr = requests.get("http://localhost:5000", auth=HTTPBasicAuth('username', 'password')) print(r.status_code)

如果使用OAuth認證需安裝oanth庫。

8.Prepared Request

我們可以將請求表示為數據結構，其中各個參數都可以通過一個Request對象來表示。

from requests import Request,Sessionurl = 'http://httpbin.org/post' data = {'name': 'cxc' } headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3" } s = Session() req = Request('POST', url, data=data, headers=headers) prepped = s.prepare_request(req) r = s.send(prepped) print(r.text)

我們引入Request，用url，headers，data參數構造了一個Request對象，再調用Session的prepare_request()將其轉化為一個Prepared Request對象，再調用send()方法發送即可。

我們把請求當作獨立的對象來看待，這樣再進行隊列調度時會非常方便。

參考書籍：《Python 3 網絡爬蟲開發實戰》

總結

以上是生活随笔為你收集整理的requests 返回的cookies为空_爬虫学习（2）（requests库）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。