前言

很明顯如果你抓不到包，那么寫爬蟲程序是一件無法下手的事情

目前很多公司越來越多的業務都轉向到app端，那么app抓包就成為爬蟲工程師必不可少的技能。從某種角度上講，防止被抓包也是反爬的一種形式。下面將從各個方面講解app抓包技巧， 講解會遇到的各個問題及其相應的解決辦法

網絡七層模型

既然說到網路抓包，那么我們從網絡七層模型開始說起，其實pc端爬蟲往往只會關注應用層的數據抓包，但是很多大廠 的app已經很難從應用層抓到數據包，往往需要去解析傳輸層的數據，或者我們必須規避app去走tcp

抓包分析

其實我們很想能在應用層就抓到數據包，但是當我們打開fiddler抓包時，卻會發現抓出來的包有一把鎖

都是鎖這特娘的怎么干活

下面我們對這些情況都分下類：

掛上代理后app提示沒有網絡，斷開代理后app正常訪問(證書驗證)

掛上代理后app能正常訪問，但是fiddler抓不到任何數據(不走代理)

掛上代理后app能正常訪問，fiddler能抓到部分數據包，但是無法抓到關鍵數據包(發tcp)

---

以上就是應用層抓包你會遇到的所有問題

下面我們一個個來解決問題，在解決你的這些問題之前請確保你已經將fiddler證書安裝到手機的根目錄
(安卓7.0以上系統不再信任用戶安裝的任何證書)
可以參考這篇文章

https://blog.csdn.net/weixin_44249131/article/details/104650275

證書驗證

原理：
app(客戶端)往往帶有ssl ping證書驗證，而代理是無法直接帶著真實的證書給到app客戶端校驗的，
解決辦法：

選擇 xposed的JustTrustMe模塊，該模塊是hook了Java層的主要網絡請求庫例如okhttp,UrlConnection等，讓app不再去驗證證書

如果方法1失敗了，那么可能是開發者自己改寫了網絡請求庫，那么你可以選擇去追蹤一下app的網絡請求源碼，去hook住那個請求庫

直接獲取apk的證書和證書密碼(需要反編譯)，將證書安裝到Charles就能順利抓包

不走代理

原理：

• 安卓開發者可以設置apk不走代理

解決辦法：

• android proxydroid 代理 APP全局代理強制把IP轉發到代理端口上，關于該軟件的使用可以參考
  https://blog.csdn.net/weixin_33711647/article/details/92018504

不走http請求

原理：

• app開發者只用tcp去發送請求

解決辦法:

手機端采用httpcanary抓包(可抓取tcp和http等)，獲取相應app的請求的服務端ip地址，然后用iptables屏蔽掉這些IP地址

hook住app發送tcp的相關類，讓他只走http

直接wireshark手撕tcp(高難度動作，會這波操作時請務必聯系我)

寫在最后

現在爬蟲的門檻越來越高，停止學習的會成為真正意義上的"爬蟲工程師"，繼續學習的會面向監獄編程，加油打工人！！！

歡迎關注"python網絡爬蟲大數據與逆向工程"公眾號，一起學習更多關于網絡爬蟲和逆向工程方面的知識

總結

以上是生活随笔為你收集整理的爬虫抓包问题全面分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。