阅读基地畅销榜数据抓取
為什么80%的碼農(nóng)都做不了架構(gòu)師?>>> ??
1、需求說明
由于業(yè)務需要,現(xiàn)需要將閱讀基地暢銷榜上的作品部分數(shù)據(jù)抓取到本地,保存在數(shù)據(jù)庫中,用于后續(xù)的數(shù)據(jù)導出分析
2、詳細需求
?? 移動閱讀基地有一個排行榜叫暢銷榜,其中有各個分類的作品暢銷排行。現(xiàn)需要每天將暢銷榜上的作品抓取下來(包括:原創(chuàng)、女生、出版、言情、穿越、玄幻、武俠、游戲、浪漫、歷史、靈異、科幻、時尚、官場、現(xiàn)代都市。注意:其中原創(chuàng)、女生和出版榜單上的作品和分類榜單上的作品可能會重復),并存入數(shù)據(jù)庫中,一天抓取一次,抓取榜單前100名作品。只抓取周榜和月榜;只抓取暢銷榜。
?? 抓取的字段為:日期、榜單名稱、排名、作品類別、作品名稱、完成情況、點擊數(shù)、收藏數(shù)、鮮花數(shù)、總字數(shù)、章節(jié)數(shù)、價格,閱讀用戶數(shù),發(fā)布評論的網(wǎng)友數(shù)。
?? 存入數(shù)據(jù)庫中的數(shù)據(jù)可以根據(jù)所抓取的字段進行篩選并導出成EXCEL表格。另外,也可以根據(jù)日期段、榜單名稱以及在該日期段內(nèi)排名上升若干位的作品進行篩選。
?? 暢銷榜地址:http://read.10086.cn/www/rankView?standard=3&type=2&nid=6897898&bookType=1
?? 作品數(shù)據(jù)情況地址http://read.10086.cn/www/bookDetail?bid=367045726
?
轉(zhuǎn)載于:https://my.oschina.net/qeecoo/blog/41844
總結(jié)
以上是生活随笔為你收集整理的阅读基地畅销榜数据抓取的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: DeepCross Network(DC
- 下一篇: 学习笔记五(蜂鸣器实验按键输入实验)