向往常一樣發送POST請求出現錯誤

網站信息

表單頁面

結果

網頁使用 gb2312 編碼

使用 requests 發送 post 請求

In [2]: import requests

In [3]: from bs4 import BeautifulSoup as BS

In [4]: url = 'http://example.com/ip/search.asp'

In [5]: data = {

...: 'loudong': '女生九棟',

...: 'fangjian': '101-1'}

In [6]: res = requests.post(url, data=data)

In [9]: res.encoding = 'gb2312'

查詢失敗

使用 Wireshark 對比瀏覽器發送的數據和 requests 發送的數據

瀏覽器發送的 post 數據

requests 發送的 post 數據

可以看到 loudong 的值編碼后不一樣：

瀏覽器 使用 gb2312 進行編碼

requests 使用 utf-8 進行編碼

使用 requests 發送自己編碼后的 post 請求

步驟：

為 HTTP Headers 手動加上 Content-Type: application/x-www-form-urlencoded

以字符串形式將編碼后的 post 數據傳給 requests 的 data 屬性

如果表單處理的文本：enctype 的值是 application/x-www-form-urlencoded，也是默認值

如果表單處理的是提交文件：enctype 的值是 multipart/form-data

enctype 表示表單提交的數據的編碼方式

如果將字典傳給 requests 的 data 屬性：requests 自動為數據進行編碼

如果將字符串傳給 requests 的 data 屬性：requests 會直接發送字符串數據

In [12]: from urllib.parse import urlencode

# 對 post 數據進行 gb2312 編碼

In [13]: data_gb2312 = urlencode(data, encoding='gb2312')

# 在 HTTP頭部 添加 application/x-www-form-urlencoded

In [14]: headers = {

...: 'Content-Type': 'application/x-www-form-urlencoded'}

In [15]: res = requests.post(url, data=data_gb2312, headers=headers)

In [16]: res.encoding = 'gb2312'

In [17]: soup = BS(res.text, 'lxml')

In [18]: for item in soup.findAll('strong'):

...: print(item.parent.parent.text.replace('\n', ''))

...:

樓棟：女生九棟

房間號-端口號：101-1

IP地址：10.0.79.2

子網掩碼：255.255.255.0

默認網關：10.0.79.1

首選DNS服務器：192.168.170.254

總結

以上是生活随笔為你收集整理的python request url编码_Python 爬虫 (requests) 发送中文编码的 HTTP POST 请求的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。