點擊“Python編程與實戰”，選擇“置頂公眾號”

第一時間獲取 Python 技術干貨！

我們在寫爬蟲構建請求的時候，不可避免地要添加請求頭( headers )，一般來說，我們只要添加 user-agent 就能滿足絕大部分需求了

但這并不是絕對的，有些請求單單添加一個 user-agent 是不能獲取到數據的，在不知道是缺少哪個請求頭參數的情況下，我一般會先把所有參數全部添加上，然后再逐個排除。

如果是后面這種情況，相信大家都會有這種感覺：手動將瀏覽器中請求頭復制粘貼然后構造成字典里的每一個 鍵值對 簡直太TM太費時間了

所以，本文將介紹幾個快速構造請求頭的方法，供君選擇：

正則一鍵替換

正則替換指的是利用 Pycharm 的 ctrl+R 替換功能，下面帶大家一步一步來演示該操作，我們將瀏覽器的請求頭復制到 Pycharm 中，如下面所示

然后按住 crtl+R，會出現上下兩個輸入框，然后勾選 Regx 以及 In selection 這兩個選項

在上面框填入要匹配內容的正則表達式：

(.*?): (.*)

第二個填入匹配組后的格式

"$1": "$2",

其中 "$$1 ", "$2" 分別表示匹配組，即匹配成功的原文

填完之后，選中我們剛復制的內容，點擊 Replace all 按鈕即可

最后在外層加上 headers = {} 就完成我們要構造的格式了

Pycharm 快捷鍵

這里再介紹一種利用 Pycharm 快捷鍵替換方法，常用的快捷鍵還是要記住，對平常快速代碼幫助很大 。

• 第一步

還是以上面復制的請求頭為例，按住 Alt 鍵，同時鼠標定位字典鍵名結束位置，如下所示，注意看鍵名旁邊都有一個鼠標指針

• 第二步

輸入引號，然后指針再前進兩步，在字典值前面輸入引號。

• 第三步

再按下 End 鍵，在最末尾輸入引號及逗號。

最后按下 Home 鍵，在最前面輸入引號，即大功告成！

和正則替換法一樣，在最外層輸入 headers = {} 即完成

postman

在瀏覽器中 Copy as cURL(bash) 我們要構造的請求，如下圖所示

copy

然后打開 postman，選擇左上角的 New 旁邊的 Import 按鈕 ，粘貼我們剛 copy 的內容

點擊 Import, 就回到了發現請求的界面，選擇發送按鈕下方的 code 鍵，

如上圖， headers 已生成，不僅支持 Python 還支持其他語言，強大?

網站一鍵替換

有不少網站都有這個構造功能，但是該網站是我用過的最好用的最強大的

除了能構造請求頭，還能單獨構造 cookies 同時自動幫我們生成請求的代碼。你甚至你不用自己手寫代碼

同樣的在瀏覽器中 Copy as cURL(bash) 我們要構造的請求，打開網站 https://curl.trillworks.com/

粘貼到左邊框后即自動生成，快得很...

還有多種語言供你選擇。

上面便是我介紹的幾種方法，是不是很方便，不用再一個一個手動輸入了。當然除了上面的方法之外，你也可以自己動手用代碼生成，因為都是有一定規律的

推薦閱讀

Python 異步 ASGI 服務器及框架

一個高性能的web服務是如何搭建的？

Flask 高并發部署方案詳細教程！

THANKS

- End -

點個“在看”必升職加薪喔

總結

以上是生活随笔為你收集整理的python 爬虫 请求网页内容不一致_Python爬虫偷懒神器 — 快速构造请求头!的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。