才接觸爬蟲的時候，我們通常使用的是瀏覽器的開發(fā)者工具-F12里的NetWork對網(wǎng)頁進(jìn)行抓包，但是這有一個缺點(diǎn)，就是如果網(wǎng)頁加載了很多亂七八糟的東西，比如廣告啊，各種各樣的js之類的時候，NewWork就顯得有點(diǎn)吃力了，我們就需要使用更強(qiáng)大的工具來進(jìn)行抓包，我個人比較喜歡使用Fiddler，畢竟免費(fèi)的好用，另外有喜歡的朋友也可以使用Charles，它只能免費(fèi)使用一段時間。
這里貼出下載地址：
fiddler官網(wǎng)下載
charles官網(wǎng)下載

這里對fiddler進(jìn)行測試。
安裝好之后，我們打開fiddler，然后打開瀏覽器，就可以看到，現(xiàn)在fiddler代替了我們的開發(fā)者工具，對http請求進(jìn)行了抓取，這時候我們還需要進(jìn)行一些設(shè)置，讓它可以抓取https請求。

注意

如果是要對app進(jìn)行抓包，請將 from browser only 改為 from all processes.

下面是對app抓包的配置。

下面就需要使用真機(jī)，或者模擬器了，這里推薦一款模擬器，逍遙安卓模擬器。
傳送門 --> 逍遙安卓模擬器官網(wǎng)

下載好之后打開如下圖。

這時候需要對模擬器進(jìn)行配置，真機(jī)也是同樣步驟~！

代理服務(wù)器主機(jī)名可以打開cmd輸入ipconfig進(jìn)行查看，代理服務(wù)器端口號是根據(jù)你的fiddler的代理端口號對應(yīng)的。完成這一項(xiàng)步驟后點(diǎn)擊保存即可。

但是現(xiàn)在還無法對手機(jī)app進(jìn)行抓包，需要安裝證書，這時候打開手機(jī)自帶的瀏覽器，在地址欄輸入你的代理服務(wù)器名+端口號 ，如下圖

點(diǎn)擊 FiddlerRoot certificate 下載安裝證書即可。

大功告成

現(xiàn)在我們就可以對app進(jìn)行抓包操作了，以酷航app為例：

可以看到 我們已經(jīng)將酷航app的查詢請求抓取下來了，可以對它進(jìn)行重發(fā)以及各種花里胡哨的操作了~

但是如果還需要進(jìn)一步的了解的話，比如酷航app會產(chǎn)生一個wtoken參數(shù)，這個就例如網(wǎng)頁中的js加密一般，是在apk底層生成的，需要我們?nèi)ゲ东@進(jìn)行模擬生成，因?yàn)檫@個會在服務(wù)器上進(jìn)行驗(yàn)證，網(wǎng)頁端的js加密token也是如出一轍，這就需要涉及到安卓的逆向工程以及反編譯了，有興趣的童鞋也可以去了解一下，需要一定的java基礎(chǔ)哦！

有需要幫助的童鞋可以進(jìn)行留言一起探討，一起學(xué)習(xí)進(jìn)步 ~！

總結(jié)

以上是生活随笔為你收集整理的网络爬虫-神器fiddler抓取app数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。