文章目錄

• 前言
• 一、抓包
• 二、代碼

---

前言

用Python爬取QQ群成員信息數據

---

提示：以下是本篇文章正文內容，下面案例可供參考

一、抓包

我們進入qun.qq.com登錄自己的賬號、選擇一個群進入，打開抓包工具，向下滑動頁面，可以抓到一個數據包 其中包含了20個成員的信息，有網名、QQ、發言時間等等

現在我們來觀察他的url和所帶參數 ，找到他的規律，我們可以看到參數中st和end應該就是表示的頁數， 意思應該是從第21個到41個，至于gc、bkn應該表示的賬號和群組，我們刷新頁面抓取第一頁的數據包 觀察發現 gc、bkn、sort參數都沒變，唯獨st和end變了，可見st和end就是表示頁數的關鍵

https://qun.qq.com/cgi-bin/qun_mgr/search_group_members 參數： gc: 自己抓包獲取 st: 0 end: 20 sort: 0 bkn: 自己抓包獲取參數： gc: 自己抓包獲取 st: 21 end: 41 sort: 0 bkn: 自己抓包獲取

二、代碼

我們已經知道了數據頁數變化的規律，現在我們來實現其代碼的操作

首先寫一個函數用于生成Params并傳入列表中

def Params_list(self):Params_list=[]for i in range(96):st=i*20+iend=st+20params={"gc": 自己抓包獲取,"st": st,"end": end,"sort": 0,"bkn": 自己抓包獲取}Params_list.append(params)return Params_list

在寫一個函數用于訪問頁面獲取數據

def Get_Data(self,params):try:url="https://qun.qq.com/cgi-bin/qun_mgr/search_group_members"head={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36','cookie':'tvfe_boss_uuid=3eec8ab61924dc8d; pgv_pvid=5532717881; RK=CnIgT93OeT; ptcz=1a3ce7dF; traceid=5a73ddf726'}data=requests.get(url=url,headers=head,params=params).json()for da in data["mems"]:with open(".//QQ_Group.csv", "a+", encoding="utf-8") as f:writer = csv.DictWriter(f, da.keys())writer.writerow(da)except Exception as e:print(e)pass

最后有了params列表便可以傳入Get_Data函數中獲取數據

如果你對爬蟲感興趣，可看我主頁已經更新多個爬蟲項目、所有爬蟲項目代碼均在公眾號“阿虛學Python”中，本次源碼回復“QQ群”獲取

謝謝大家的觀看

轉載請標明出處

總結

以上是生活随笔為你收集整理的爬虫项目十六：用 Python 三十行代码采集QQ群成员信息，很简单的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。