第32讲：实时处理利器 mitmproxy 的使用
在上一節課我們講解了 Charles 的使用，它可以幫助我們抓取 HTTP 和 HTTPS 的數據包，抓到請求之后，我們如果能夠分析出接口請求的一些規律，就能輕松通過 Python 腳本來進行改寫。可是當請求里面包含一些無規律的參數的時候，可能就束手無策了。本節課我們介紹一個叫作 mitmproxy 的工具，它可以對抓包的結果通過腳本進行實時處理和保存，接下來我們來一起了解下吧。
1.介紹
mitmproxy 是一個支持 HTTP 和 HTTPS 的抓包程序，有類似 Fiddler、Charles 的功能，只不過它是一個控制臺的形式操作。
mitmproxy 還有兩個關聯組件。一個是 mitmdump，它是 mitmproxy 的命令行接口，利用它我們可以對接 Python 腳本，用 Python 實現實時監聽后的處理。另一個是 mitmweb，它是一個 Web 程序，通過它我們可以清楚觀察 mitmproxy 捕獲的請求。
下面我們來了解它們的用法。
2.準備工作
請確保已經正確安裝好了 mitmproxy，并且手機和 PC 處于同一個局域網下，同時配置好了 mitmproxy 的 CA 證書，具體的配置可以參考 https://cuiqingcai.com/5391.html。
2.1mitmproxy 的功能
mitmproxy 有如下幾項功能。
- 攔截 HTTP 和 HTTPS 請求和響應；
- 保存 HTTP 會話并進行分析；
- 模擬客戶端發起請求，模擬服務端返回響應；
- 利用反向代理將流量轉發給指定的服務器；
- 支持 Mac 和 Linux 上的透明代理；
- 利用 Python 對 HTTP 請求和響應進行實時處理。
3.抓包原理
和 Charles 一樣，mitmproxy 運行于自己的 PC 上，mitmproxy 會在 PC 的 8080 端口運行，然后開啟一個代理服務，這個服務實際上是一個 HTTP/HTTPS 的代理。
手機和 PC 在同一個局域網內，設置代理為 mitmproxy 的代理地址，這樣手機在訪問互聯網的時候流量數據包就會流經 mitmproxy，mitmproxy 再去轉發這些數據包到真實的服務器，服務器返回數據包時再由 mitmproxy 轉發回手機，這樣 mitmproxy 就相當于起了中間人的作用，抓取到所有 Request 和 Response.
另外這個過程還可以對接 mitmdump，抓取到的 Request 和 Response 的具體內容都可以直接用 Python 來處理，比如得到 Response 之后我們可以直接進行解析，然后存入數據庫，這樣就完成了數據的解析和存儲過程。
4.設置代理
首先，我們需要運行 mitmproxy，mitmproxy 啟動命令如下所示：
mitmproxy
右下角會出現當前正在監聽的端口。
或者啟動 mitmdump，它也會監聽 8080 端口，命令如下所示：
mitmdump運行結果如圖所示。
將手機和 PC 連接在同一局域網下，設置代理為當前代理。首先看看 PC 的當前局域網 IP。
Windows 上的命令如下所示：
ipconfigLinux 和 Mac 上的命令如下所示：
ifconfig輸出結果如圖所示。
一般類似 10…* 或 172.16… 或 192.168.1.* 這樣的 IP 就是當前 PC 的局域網 IP，例如此圖中 PC 的 IP 為 192.168.1.28，手機代理設置類似如圖所示。
這樣我們就配置好了 mitmproxy 的代理。
5.mitmproxy 的使用
確保 mitmproxy 正常運行，并且手機和 PC 處于同一個局域網內，設置了 mitmproxy 的代理。
運行 mitmproxy，命令如下所示：
mitmproxy設置成功之后，我們只需要在手機瀏覽器上訪問任意的網頁或瀏覽任意的 App 即可。例如在手機上打開百度，mitmproxy 頁面便會呈現出手機上的所有請求，如圖所示。
這就相當于之前我們在瀏覽器開發者工具監聽到的瀏覽器請求，在這里我們借助于 mitmproxy 完成。Charles 完全也可以做到。
這里是剛才手機打開百度頁面時的所有請求列表，左下角顯示的 2/38 代表一共發生了 38 個請求，當前箭頭所指的是第二個請求。
每個請求開頭都有一個 GET 或 POST，這是各個請求的請求方式。緊接的是請求的 URL。第二行開頭的數字就是請求對應的響應狀態碼，后面是響應內容的類型，如 text/html 代表網頁文檔、image/gif 代表圖片。再往后是響應體的大小和響應的時間。
當前呈現了所有請求和響應的概覽，我們可以通過這個頁面觀察到所有的請求。
如果想查看某個請求的詳情，我們可以敲擊回車，進入請求的詳情頁面，如圖所示。
可以看到 Headers 的詳細信息，如 Host、Cookies、User-Agent 等。
最上方是一個 Request、Response、Detail 的列表，當前處在 Request 這個選項上。這時我們再點擊 Tab 鍵，即可查看這個請求對應的響應詳情，如圖所示。
最上面是響應頭的信息，下拉之后我們可以看到響應體的信息。針對當前請求，響應體就是網頁的源代碼。
這時再敲擊 Tab 鍵，切換到最后一個選項卡 Detail，即可看到當前請求的詳細信息，如服務器的 IP 和端口、HTTP 協議版本、客戶端的 IP 和端口等，如圖所示。
mitmproxy 還提供了命令行式的編輯功能，我們可以在此頁面中重新編輯請求。敲擊 e 鍵即可進入編輯功能，這時它會詢問你要編輯哪部分內容，如 Cookies、Query、URL 等，每個選項的第一個字母會高亮顯示。敲擊要編輯內容名稱的首字母即可進入該內容的編輯頁面，如敲擊 m 即可編輯請求的方式，敲擊 q 即可修改 GET 請求參數 Query。
這時我們敲擊 q，進入到編輯 Query 的頁面。由于沒有任何參數，我們可以敲擊 a 來增加一行，然后就可以輸入參數對應的 Key 和 Value，如圖所示。
這里我們輸入 Key 為 wd，Value 為 NBA。
然后再敲擊 Esc 鍵和 q 鍵，返回之前的頁面，再敲擊 e 和 p 鍵修改 Path。和上面一樣，敲擊 a 增加 Path 的內容，這時我們將 Path 修改為 s，如圖所示。
再敲擊 esc 和 q 鍵返回，這時我們可以看到最上面的請求鏈接變成了 https://www.baidu.com/s?wd=NBA，訪問這個頁面，可以看到百度搜索 NBA 關鍵詞的搜索結果，如圖所示。
敲擊 a 保存修改，敲擊 r 重新發起修改后的請求，即可看到上方請求方式前面多了一個回旋箭頭，這說明重新執行了修改后的請求。這時我們再觀察響應體內容，即可看到搜索 NBA 的頁面結果的源代碼，如圖所示。
以上內容便是 mitmproxy 的簡單用法。利用 mitmproxy，我們可以觀察到手機上的所有請求，還可以對請求進行修改并重新發起。
Fiddler、Charles 也有這個功能，而且它們的圖形界面操作更加方便。那么 mitmproxy 的優勢何在？
mitmproxy 的強大之處體現在它的另一個工具 mitmdump，有了它我們可以直接對接 Python 對請求進行處理。下面我們來看看 mitmdump 的用法。
6.mitmdump 的使用
mitmdump 是 mitmproxy 的命令行接口，同時還可以對接 Python 對請求進行處理，這是相比 Fiddler、Charles 等工具更加方便的地方。有了它我們可以不用手動截獲和分析 HTTP 請求和響應，只需寫好請求和響應的處理邏輯即可。它還可以實現數據的解析、存儲等工作，這些過程都可以通過 Python 實現。
6.1實例引入
我們可以使用命令啟動 mitmproxy，并把截獲的數據保存到文件中，命令如下所示：
mitmdump -w outfile其中 outfile 的名稱任意，截獲的數據都會被保存到此文件中。
還可以指定一個腳本來處理截獲的數據，使用 - s 參數即可：
這里指定了當前處理腳本為 script.py，它需要放置在當前命令執行的目錄下。
我們可以在腳本里寫入如下的代碼：
我們定義了一個 request 方法，參數為 flow，它其實是一個 HTTPFlow 對象，通過 request 屬性即可獲取到當前請求對象。然后打印輸出了請求的請求頭，將請求頭的 User-Agent 修改成了 MitmProxy。
運行之后我們在手機端訪問 http://httpbin.org/get，就可以看到有如下情況發生。
手機端的頁面顯示如圖所示。
PC 端控制臺輸出如圖所示。
手機端返回結果的 Headers 實際上就是請求的 Headers，User-Agent 被修改成了 mitmproxy。PC 端控制臺輸出了修改后的 Headers 內容，其 User-Agent 的內容正是 mitmproxy。
所以，通過這三行代碼我們就可以完成對請求的改寫。print 方法輸出結果可以呈現在 PC 端控制臺上，可以方便地進行調試。
6.2日志輸出
mitmdump 提供了專門的日志輸出功能，可以設定不同級別以不同顏色輸出結果。我們把腳本修改成如下內容：
from mitmproxy import ctx def request(flow):flow.request.headers['User-Agent'] = 'MitmProxy'ctx.log.info(str(flow.request.headers))ctx.log.warn(str(flow.request.headers))ctx.log.error(str(flow.request.headers))這里調用了 ctx 模塊，它有一個 log 功能，調用不同的輸出方法就可以輸出不同顏色的結果，以方便我們做調試。例如，info 方法輸出的內容是白色的，warn 方法輸出的內容是黃色的，error 方法輸出的內容是紅色的。運行結果如圖所示。
不同的顏色對應不同級別的輸出，我們可以將不同的結果合理劃分級別輸出，以更直觀方便地查看調試信息。
6.3Request
最開始我們實現了 request 方法并且對 Headers 進行了修改。下面我們來看看 Request 還有哪些常用的功能。我們先用一個實例來感受一下。
from mitmproxy import ctx def request(flow):request = flow.requestinfo = ctx.log.infoinfo(request.url)info(str(request.headers))info(str(request.cookies))info(request.host)info(request.method)info(str(request.port))info(request.scheme)我們修改腳本，然后在手機上打開百度，即可看到 PC 端控制臺輸出了一系列的請求，在這里我們找到第一個請求。控制臺打印輸出了 Request 的一些常見屬性，如 URL、Headers、Cookies、Host、Method、Scheme 等。輸出結果如圖所示。
結果中分別輸出了請求鏈接、請求頭、請求 Cookies、請求 Host、請求方法、請求端口、請求協議這些內容。
同時我們還可以對任意屬性進行修改，就像最初修改 Headers 一樣，直接賦值即可。例如，這里將請求的 URL 修改一下，腳本修改如下所示：
def request(flow):url = 'https://httpbin.org/get'flow.request.url = url
比較有意思的是，瀏覽器最上方還是呈現百度的 URL，但是頁面已經變成了 httpbin.org 的頁面了。另外，Cookies 明顯還是百度的 Cookies。我們只是用簡單的腳本就成功把請求修改為其他的站點。通過這種方式修改和偽造請求就變得輕而易舉。
通過這個實例我們知道，有時候 URL 雖然是正確的，但是內容并非正確。我們需要進一步提高自己的安全防范意識。
Request 還有很多屬性，在此不再一一列舉。更多屬性可以參考：http://docs.mitmproxy.org/en/latest/scripting/api.html。
只要我們了解了基本用法，會很容易地獲取和修改 Reqeust 的任意內容，比如可以用修改 Cookies、添加代理等方式來規避反爬。
6.4Response
對于爬蟲來說，我們更加關心的其實是響應的內容，因為 Response Body 才是爬取的結果。對于響應來說，mitmdump 也提供了對應的處理接口，就是 response 方法。下面我們用一個實例感受一下。
from mitmproxy import ctx def response(flow):response = flow.responseinfo = ctx.log.infoinfo(str(response.status_code))info(str(response.headers))info(str(response.cookies))info(str(response.text))將腳本修改為如上內容，然后手機訪問：http://httpbin.org/get。
這里打印輸出了響應的 status_code、headers、cookies、text 這幾個屬性，其中最主要的 text 屬性就是網頁的源代碼。
PC 端控制臺輸出如圖所示。
控制臺輸出了響應的狀態碼、響應頭、Cookies、響應體這幾部分內容。
我們可以通過 response 方法獲取每個請求的響應內容。接下來再進行響應的信息提取和存儲，我們就可以成功完成爬取了。
6.5示例操作
下面我們來介紹一個 App 的爬取實現，示例 App 可以參見附件。
通過 Charles 抓包之后我們可以發現，其接口的 URL 中包含了一個 token 參數，如圖所示。
而且這個 token 每次請求都是變化的，我們目前也觀察不出它到底是怎么構造的。
那么我們如果想把抓包的這些結果保存下來，應該怎么辦呢？顯然就不好直接用程序來構造這些請求了，因為 token 的生成邏輯我們無從得知。這時候我們可以采取 mitmdump 實時處理的操作，只要能抓到包，那就可以把抓包的結果實時處理并保存下來。
首先我們寫一個 mitmdump 腳本，還是和原來一樣，保存為 spider.py 內容如下：
from mitmproxy import ctx def response(flow):response = flow.responseinfo = ctx.log.infoinfo(str(response.status_code))info(str(response.headers))info(str(response.cookies))info(str(response.text))然后啟動一下腳本，命令如下：
mitmdump -s spider.py設置好手機代理為 mitmdump 的地址。
這時候打開手機 App，會看到如下的界面，如圖所示。
這時候我們再返回控制臺，查看下 mitmdump 的輸出，就會變成如下內容，如圖所示。
我們可以看到這里就輸出來了抓包后的結果，最后的這個內容實際上就是接口的返回結果，我們直接將其輸出到控制臺上了。
經過一些分析我們可以很輕松得知一次請求就會獲取 10 條電影的數據，我們可以對腳本進行下改寫，對這個結果進行分析處理。比如我們可以遍歷每一條電影數據，然后將其保存到本地，成為 JSON 文件。
腳本就可以改寫如下：
from mitmproxy import ctx import json def response(flow):response = flow.responseif response.status_code != 200:returndata = json.loads(str(response.text))for item in data.get('results'):name = item.get('name')with open(f'{name}.json', 'w', encoding='utf-8') as f:f.write(json.dumps(item, indent=2, ensure_ascii=False))這里我們首先對 response 的內容進行了解析，然后遍歷了 results 字段的每個內容，然后獲取其 name 字段當作文件輸出的名稱，最后輸出保存成一個 JSON 文件。
這時候，我們再重新運行 mitmdump 和 App，就可以發現 mitmdump 的運行目錄下就出現了好多 JSON 文件，這些 JSON 文件的內容就是抓包的電影數據的結果，如圖所示。
我們打開其中一個結果，內容如下：
可以看到這就是我們在 Charles 中看到的返回結果中的一條電影數據的內容，我們通過 mitmdump 對接實時處理腳本實現了分析和保存。
以上便是 mitmproxy 和 mitmdump 的基本用法。
總結
以上是生活随笔為你收集整理的第32讲：实时处理利器 mitmproxy 的使用的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 第16讲：异步爬虫的原理和解析
- 下一篇： 第17讲：aiohttp 异步爬虫实战