有一天發現我關注了好多微信公眾號，那時就想有沒有什么辦法能夠將微信公眾號的文章弄下來，而且還想將一些文章的精彩評論一起搞下來。參考了一些文章，通過幾天的研究基本上實現了自己的要求，現在記錄一下自己的一些心得。

整個研究過程如下：
1.了解微信公眾號文章鏈接的組成，歷史文章API組成，單個文章評論API組成，訪問微信公眾號的cookie組成；
2.分析歷史文章API以及單個文章評論API的結構，構建爬蟲進行爬取；
前面兩點需要借助于抓包工具Fiddler，下面會詳細介紹抓包結果的分析，上一篇文章有介紹“ Fiddler在PC/臺式對Android進行抓包”
3.設計表結構，將爬蟲獲取的數據存入到mysql數據庫；
4.對獲取的數據庫信息進行過濾整理，將相關內容輸出，選擇相應文章進行閱讀并消化。

一、微信公眾號圖文消息的鏈接組成
微信公眾帳號群發的圖文消息一般情況下是在微信公眾平臺上編輯和產生的。
我們先從比較有名的公眾號“邏輯思維”的圖文消息看看一篇圖文消息鏈接的組成元素:
邏輯思維有一篇每天60秒的文章【羅胖60秒：一個“智慧系統”是什么樣的？】，在微信打開通過瀏覽器查看到鏈接
http://mp.weixin.qq.com/s?__biz=MjM5NjAxOTU4MA==&mid=3009217237&idx=2&sn=881c0a758a43348e2e7602110862f6ec&chksm=90460ec6a73187d00ebc007b1429609573ca42b9ef1dd74d860b4716f04b63661b15cbee2c6b&mpshare=1&scene=23&srcid=1202m2DVBW8OubvaR1DcXF0a#rd
上面鏈接中的參數有__biz，mid，idx，sn，chksm，mpshare，scene和srcid
其實主要參數只有__biz，mid，idx和sn四個參數，而這四個參數能唯一確定一篇微信公眾平臺的圖文消息，所以以下鏈接就可以訪問文章
https://mp.weixin.qq.com/s?__biz=MjM5NjAxOTU4MA==&mid=3009217237&idx=2&sn=881c0a758a43348e2e7602110862f6ec
這四個參數的含義是：
__biz可以認為是微信公眾平臺對外公布的公眾帳號的唯一id，而這個__biz參數能用來生成公眾帳號的二維碼
mid是圖文消息id，每篇文章這個消息id都唯一
idx是發布的第幾條消息(1就代表是頭條位置消息，2代表第二條)
sn是一個隨機加密串(對于一篇圖文消息是唯一的，如果你想問這個sn的生成規則是什么或者怎么破解，你基本上只能從微信公眾平臺開發團隊才能得到答案)
另外，對于除了__biz之外的三個參數，mid/idx/sn 可以分別寫成 appmsgid/itemidx/sign，比如還是之前文章，用如下鏈接一樣可以訪問到:
https://mp.weixin.qq.com/s?__biz=MjM5NjAxOTU4MA==&appmsgid=3009217237&itemidx=2&sign=881c0a758a43348e2e7602110862f6ec
其實在早期，只需要__biz, mid和idx三個參數即可確定一篇微信公眾平臺的圖文消息，微信后來增加一個參數sn(sign)，這樣做的原因是:
微信公眾平臺的圖文消息首先在后臺保存為了一篇素材才能發布，而這個素材也會生成一個鏈接，在早期這個素材的鏈接就是后來要發布的文章的鏈接，而從上面這篇文章的鏈接你能猜出來，只需要改變mid(圖文消息id)這個值，比如這篇文章的mid是10000382，對這個數字加上1或者2就極有可能是下一篇圖文消息或者素材的鏈接，這樣用戶就有可能提前閱讀到公眾帳號已經寫好并保存但還沒群發的素材了。
所以分布文章時會加上一個隨機生成的參數sn，確保文章無法被知道。

二、微信公眾號歷史文章API組成
在公眾號主頁，右上角有個人上半身圖標，點擊進入消息界面，下滑找到并點擊“全部消息”，往下請求加載幾次歷史文章，然后回到Fiddler界面，不出意外的話應該可以看到這幾次請求，可以看到返回的數據是json格式的，同時文章數據是以json字符串的形式定義在general_msg_list字段中：
https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MjM5NjAxOTU4MA==&f=json&offset=10&count=10&is_ok=1&scene=126&uin=777&key=777&pass_ticket=pI3viTq3ke7q4XBuvPFfW04X1NN374CuTXRryqcWqIUGGXvrmHzytAth%2BMUWmDEv&wxtoken=&appmsg_token=985_CXzmkHn3e3dS9vsefAmdITS4irh69Rk351ye-w~~&x5=1&f=json

以下介紹幾個主要參數：
- __biz：相當于是當前公眾號的id(唯一固定標志)?
- offset：文章數據接口請求偏移量標志(從0開始)，每次返回的json數據中會有下一次請求的offset，這里一般是按10遞增的?
- count：每次請求的數據量(親測最多可以是10) ，所以可以固定為10
- pass_ticket：可以理解是請求票據，而且隔一段時間后(大概幾個小時)就會過期，失效后都需要重新抓包替換
- appmsg_token：同樣理解為非固定有過期策略的票據，失效后都需要重新抓包替換

三、微信公眾號訪問的cookie組成：

訪問微信公眾號歷史文章，我們是需要登錄的，我們可以通過構建cookie去跳過登錄過程
通過訪問微信公眾號文章，我們通過Fiddler抓包可以看到cookie的相關信息

其中pass_ticket和wap_sid2不是固定的，經常有變化，失效了都需要重新抓包，而其他wxtokenkey，wxuin，devicetype，version等只要微信號不變，登錄設備不變都不會改變。

四、微信公眾號單個文章評論API組成
通過訪問微信公眾號文章，我們抓包可以得到文章評論的API，這個返回的也是json格式，評論存儲在elected_comment
https://mp.weixin.qq.com/mp/appmsg_comment?action=getcomment&scene=0&__biz=MjM5NjAxOTU4MA==&appmsgid=3009217642&idx=2&comment_id=578089232589930496&offset=0&limit=100&uin=777&key=777&pass_ticket=v+7PaoESYfMrxgXJpqOkfXV4Y2+gYNPPJfSSmzPXfeiuNrNiBeEcs+8b//Yit5sd&wxtoken=777&devicetype=android-26&clientversion=2607033b&appmsg_token=986_jbuKqpV9lCZ1cb787Tem5V5n6JKpU9TrOFUZRE5esVxnBK7IR-TsZiXLRNaO1tnfx4rkIk1xyFHRlqI7&x5=1&f=json

還是介紹一下其中的主要參數：
- __biz：和歷史文章列表中一致，微信公眾號ID
- comment_id：評論的id,一篇文章唯一
- appmsgid：圖文消息ID，與文章有關（文章鏈接中的mid）
- pass_ticket：請求票據，同一時間段內歷史文章API和單個文章評論API一致
- appmsg_token：非固定有過期策略的票據，同一時間段內歷史文章API和單個文章評論API不一致
以上主要介紹了整個研究過程的第一點，下面將會分析歷史文章API和單個文章評論API的返回

總結

以上是生活随笔為你收集整理的【Python爬虫】爬取微信公众号文章信息准备工作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。