python requests的作用_Python爬虫第一课：requests的使用
requests模塊的入門使用
注意是requests不是request.
1、為什么使用requests模塊，而不是用python自帶的urllib
requests的底層實現就是urllib
requests在python2 和python3中通用，方法完全一樣
requests簡單易用
requests能夠自動幫助我們解壓(gzip壓縮的等)響應內容
作用：發送網絡請求，返回響應數據
中文文檔 ：http://docs.python-requests.org/zh_CN/latest/index.html
通過觀察文檔來學習：如何使用requests來發送網絡請求
2、requests模塊發送簡單的get請求，獲取響應。
需求：通過requests向百度首頁發送請求，獲取百度首頁的數據
import requests
# 目標url
url = 'https://www.baidu.com'
# 向目標url發送get請求
response = requests.get(url)
# 打印響應內容
print(response.text)
response的常用屬性：
response.text 響應體 str類型
respones.content 響應體 bytes類型
response.status_code 響應狀態碼
response.request.headers 響應對應的請求頭
response.headers 響應頭
response.request.cookies 響應對應請求的cookie
response.cookies 響應的cookie（經過了set-cookie動作）
2.1 response.text 和response.content的區別
response.text
類型：str
解碼類型：requests模塊自動根據HTTP 頭部對響應的編碼作出有根據的推測，推測的文本編碼
response.content
類型：bytes
解碼類型：沒有指定
如果在響應的response.text出現亂碼,將下面的三個方式按個試一遍，一般就能解決問題
response.content.decode()
response.content.decode('GBK')
response.content.decode('unicode-escape')
2.2 把網絡上的圖片保存到本地
我們來把網絡上的圖片保存到本地
分析：
圖片的url:https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1591375146706&di=43effd06a8da881890c639b392db48cd&imgtype=0&src=http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20171108%2F3fe473acfc39476db58fadd7fbaf97ff.jpeg
利用requests模塊發送請求獲取響應
以2進制寫入的方式打開文件，并將response響應的二進制內容寫入
import requests
# 圖片的url
img_url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1591375146706&di=43effd06a8da881890c639b392db48cd&imgtype=0&src=http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20171108%2F3fe473acfc39476db58fadd7fbaf97ff.jpeg'
# 響應本身就是一個圖片,并且是二進制類型
response = requests.get(img_url)
img = response.content
# 以二進制+寫入的方式打開文件
with open('first.jpg', 'wb') as f:
# 寫入response.content bytes二進制類型
f.write(img)
3、發送帶header的請求
我們先寫一個獲取百度首頁的代碼
import requests
url = 'https://www.baidu.com'
response = requests.get(url)
# 打印響應對應請求的請求頭信息
print(response.request.headers)
# 打印響應的數據長度
print(len(response.content.decode()))
輸出：
{'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '/', 'Connection': 'keep-alive'}
2349
可以看出，請求頭是python-requests，服務器很容易就發現是python而不是瀏覽器在訪問。所以返回的數據非常少，
3.1 為什么請求需要帶上header？
模擬瀏覽器，欺騙服務器，獲取和瀏覽器一致的內容
3.2 header的形式：字典
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
3.3 用法
requests.get(url, headers=headers)
3.4 帶上請求頭的完整代碼
import requests
url = "https://www.baidu.com"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
}
response = requests.get(url,headers=headers)
print(response.request.headers)
print(len(response.content.decode()))
輸出：
{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36', 'Accept-Encoding': 'gzip, deflate', 'Accept': '/', 'Connection': 'keep-alive'}
286046
4、發送帶參數的請求
我們在使用百度搜索的時候經常發現url地址中會有一個 ?，那么該問號后邊的就是請求參數，又叫做查詢字符串
4.1 什么叫做請求參數：
例1：https://www.sohu.com/a/128244875_623785
例2：https://www.baidu.com/s?wd=python
例1中沒有請求參數！例2中?后邊的就是請求參數
4.2 請求參數的形式：字典
kw = {'wd':'長城'}
4.3 請求參數的用法
requests.get(url,params=kw)
4.4 關于參數的注意點
在url地址中， 很多參數是沒有用的，比如百度搜索的url地址，其中參數只有一個字段有用，其他的都可以刪除 如何確定那些請求參數有用或者沒用：挨個嘗試！對應的,在后續的爬蟲中，遇到很多參數的url地址，都可以嘗試刪除參數。
4.5 兩種方式：發送帶參數的請求
1.對https://www.baidu.com/s?wd=python發起請求可以使用requests.get(url, params=kw)的方式。
# 方式一：利用params參數發送帶參數的請求
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# 這是目標url
# url = 'https://www.baidu.com/s?wd=python'
# 最后有沒有問號結果都一樣
url = 'https://www.baidu.com/s?'
# 請求參數是一個字典 即wd=python
kw = {'wd': 'python'}
# 帶上請求參數發起請求，獲取響應
response = requests.get(url, headers=headers, params=kw)
# 當有多個請求參數時，requests接收的params參數為多個鍵值對的字典，比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}
print(response.content)
2.也可以直接對https://www.baidu.com/s?wd=python完整的url直接發送請求，不使用params參數
# 方式二：直接發送帶參數的url的請求
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
url = 'https://www.baidu.com/s?wd=python'
# kw = {'wd': 'python'}
# url中包含了請求參數，所以此時無需params
response = requests.get(url, headers=headers)
4.6 爬取指定貼吧
import requests
# 爬取指定名稱的貼吧，然后把網頁保存在本地
url="https://tieba.baidu.com/f?"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"
}
word = input("請輸入想保存的貼吧名稱：")
for i in range(int(input("請輸入需要保存的頁碼："))):
params = {
"kw": word,
"pn": i*50
}
response = requests.get(url,headers=headers,params=params)
with open(f"{word}{i+1}.html",'wb') as f:
f.write(response.content)
print(f"{word}{i+1}.html保存完成")
二、requests模塊的深入使用
1、使用requests發送POST請求
哪些地方我們會用到POST請求？
登錄注冊（ POST 比 GET 更安全）
需要傳輸大文本內容的時候（ POST 請求對數據長度沒有要求）
所以同樣的，我們的爬蟲也需要在這兩個地方回去模擬瀏覽器發送post請求
1.1 requests發送post請求語法：
用法：
response = requests.post("http://www.baidu.com/", data = data,headers=headers)
data 的形式：字典
1.2 POST請求練習
下面我們通過百度翻譯的例子看看post請求如何使用：
思路分析
1、確定請求的url地址
2、確定請求的參數
百度翻譯獲取翻譯結果在另外一個url,也是post請求，但是參數很多，需要自己去構建，后面再說，這里簡單的展示一個例子，獲取輸入的語言類型。
url = "https://fanyi.baidu.com/langdetect"
word = input("請輸入查詢的關鍵字：")
#構造表單
data = {
"query": word
}
# 發送請求
print(eval(requests.post(url,data=data).text)["lan"])
輸出：
請輸入查詢的關鍵字：睡覺
zh
出現了eval,順便說一下，eval自動調整數據的格式。
str_data = '{"name":"張三","password":"zhangsanzhenshuai"}'
print(type(str_data))
print(eval(str_data))
print(type(eval(str_data)))
輸出：
{'name': '張三', 'password': 'zhangsanzhenshuai'}
2、使用代理
2.1 為什么要使用代理
讓服務器以為不是同一個客戶端在請求。
防止我們的真實地址被泄露，防止被追究。
2.2 理解使用代理的過程
2.3 理解正向代理和反向代理的區別
通過上圖可以看出：
正向代理：對于瀏覽器知道服務器的真實地址，例如VPN
反向代理：瀏覽器不知道服務器的真實地址，例如nginx
2.4 代理的使用
用法：
requests.get("http://www.baidu.com", proxies = proxies)
proxies的形式：字典
proxies = {
"http": "http://12.34.56.79:9527",
"https": "https://12.34.56.79:9527",
}
2.5 代理IP的分類
根據代理ip的匿名程度，代理IP可以分為下面四類：
透明代理(Transparent Proxy)：透明代理雖然可以直接“隱藏”你的IP地址，但是還是可以查到你是誰。
匿名代理(Anonymous Proxy)：使用匿名代理，別人只能知道你用了代理，無法知道你是誰。
高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理讓別人根本無法發現你是在用代理，所以是最好的選擇。
在使用的時候，毫無疑問使用高匿代理效果最好。
從請求使用的協議可以分為：
http代理
https代理
socket代理等
不同分類的代理，在使用的時候需要根據抓取網站的協議來選擇。
2.6 代理IP使用的注意點
1、反反爬
使用代理ip是非常必要的一種 反反爬 的方式
但是即使使用了代理ip，對方服務器仍然會有很多的方式來檢測我們是否是一個爬蟲，比如：
一段時間內，檢測IP訪問的頻率，訪問太多頻繁會屏蔽。
檢查Cookie，User-Agent，Referer等header參數，若沒有則屏蔽。
服務方購買所有代理提供商，加入到反爬蟲數據庫里，若檢測是代理則屏蔽。
所以更好的方式在使用代理ip的時候使用隨機的方式進行選擇使用，不要每次都用一個代理ip。
2、代理ip池的更新
購買的代理ip很多時候大部分(超過60%)可能都沒辦法使用，這個時候就需要通過程序去檢測哪些可用，把不能用的刪除掉。
PS：如有需要Python學習資料的小伙伴可以加下方的群去找免費管理員領取
可以免費領取源碼、項目實戰視頻、PDF文件等
本文的文字及圖片來源于網絡,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理。
以上文章來源于海洋紀 ，作者劉夏橙
總結
以上是生活随笔為你收集整理的python requests的作用_Python爬虫第一课：requests的使用的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： mysql count 条件_我以为我对
- 下一篇： 注销信用卡会影响个人信用吗