百度網(wǎng)盤爬蟲

現(xiàn)在市面上出現(xiàn)了很多網(wǎng)盤搜索引擎，寫這系列博文及爬蟲程序的初衷：

• 更方面的查找資源
• 學(xué)習(xí)C#
• 學(xué)習(xí)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)
• 記錄學(xué)習(xí)歷程

• 自我監(jiān)督

  能力有限，如有不妥之處，還請各位看官點(diǎn)評。同在學(xué)習(xí)的網(wǎng)友~與君共勉。

工具/庫選擇

• mysql5.6 (習(xí)慣使然，sqlserver比較龐大，個(gè)人使用起來不是很習(xí)慣，后期可能改為sqlserver)
• HttpWebRequest、HttpWebResponse、JSON.NET庫

• vs2015, .NET4.5

  PS：介紹以上是權(quán)當(dāng)做個(gè)備忘錄/提示。

百度網(wǎng)盤搜索流程

此爬蟲原理是通過爬取用戶的分享/專輯保存鏈接來達(dá)到資源搜索的目的，而用戶與用戶之間通過訂閱/關(guān)注來聯(lián)系，慢慢形成一個(gè)龐大的爬蟲網(wǎng)絡(luò)。

首先設(shè)定爬取用戶(初始化爬蟲隊(duì)列)。

遍歷用戶分享/專輯，更改隊(duì)列狀態(tài)。

將用戶訂閱/關(guān)注用戶加入隊(duì)列。

重復(fù)以上步驟。

PS：看似簡單的流程，想要精工還需細(xì)磨。

獲取百度網(wǎng)盤推薦用戶

當(dāng)沒有訂閱任何用戶時(shí)，網(wǎng)盤的分享動(dòng)態(tài)界面會(huì)出現(xiàn)一些用戶噢。這是系統(tǒng)推薦的用戶，雖然改動(dòng)不一定會(huì)很大，但是可以作為爬蟲的初始用戶來處理(這種推薦用戶聽說關(guān)注的人都不少噢)

接口返回信息：

errorno: 狀態(tài)碼 request_id：請求ID hotuser_list：用戶列表

用戶列表結(jié)構(gòu)：

type：類型(通常返回-1，不明用途) hot_uname：用戶昵稱 avatar_url：頭像縮略圖地址 intro：描述 follow_count：訂閱人數(shù) fans_count：粉絲人數(shù) user_type：用戶類型？（不明意義） is_vip：是否為VIP pubshare_count：分享數(shù) hot_uk：不知道啥玩意 album_count：分享專輯數(shù)

END

暫時(shí)就寫到這兒了，要去寫代碼了~ 寫完再會(huì)

轉(zhuǎn)載于:https://www.cnblogs.com/By-ruoyu/p/6993424.html

總結(jié)

以上是生活随笔為你收集整理的C# 学习之路--百度网盘爬虫设计与实现（一）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。