LiveTV Mining

---

介紹

項目實現爬蟲、數據挖掘/分析等功能。目前主要是掃描直播站點收集數據，后續會開發相關數據分析模塊。

架構采用前后端分離，通過RESTFul API通信。前端Vue+Webpack，后端Flask。

文件結構分為三部分，每個部分可以單獨提供服務：

• frontend 前端代碼，使用Vue+Webpack開發管理。
• server 后端RESTFul服務，使用Flask搭建提供API。
• crawler 爬蟲服務，使用框架scrapy對直播站點爬取數據。

使用中有問題或更新建議，歡迎提issue或用以下聯系方式跟我交流：

• 郵件: zwtzjd@gmail.com
• QQ: 3084582097

歷程

• 2017-05-10 開發新爬蟲火貓。
• 2017-04-24 全民收集開發完成。
• 2017-04-22 熊貓收集開發完成。
• 2017-04-20 斗魚收集開發完成。
• 2017-04-15 準備開發收集站點房間：關注數、公告、上一次開播時間、打賞值、開播當天人氣中位數。
• 2017-04-01 變更LICENSE：GPL -> Apache。
• 2017-03-20 開發新爬蟲全民。
• 2017-03-03 開發新爬蟲龍珠。
• 2017-03-01 恢復爬蟲熊貓、戰旗。
• 2017-01-07 完成全部功能遷移，前后端分離完成。
• 2016-12-24 引入vuex進行state和權限管理。
• 2016-12-15 引入vue-resource，主模塊(Main)完成分離。
• 2016-11-25 研究流行前端框架和開發方式，確定使用webpack開發。
• 2016-11-20 重新設計結構，進行前后端分離。
• 2016-11-01 修正改造搜索功能，需要登錄后才能使用。
• 2016-10-29 完成渲染初步改造，已實現調用REST API進行訪問讀取。爬蟲運行間隔20分鐘。
• 2016-10-20 引入Vue.js，改造前端渲染方式，減輕服務器壓力。開發完成簡單 Flask-Vue 插件。
• 2016-10-15 引入Scrapy重構爬蟲，精簡爬蟲步驟。僅保留斗魚、BiliBli爬蟲。

2016-08-15 v1.0版本開發結束，代碼保存在分支v1.0

感激

---

感謝以下項目的支持，排名不分先后

• Flask
• Bootstrap
• Selenium
• Celery

總結

以上是生活随笔為你收集整理的直播网站LiveTV Mining，爬虫抓取数据 python3+scrapy的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。