前言

本期案例分享，學長給大家上點干貨，手把手帶你開發(fā)一個分布式爬蟲系統(tǒng)。通過這個項目，你將學習到下面幾點：

架構設計。如果設計一個通用的爬蟲系統(tǒng)？一個系統(tǒng)支持爬取所有的網(wǎng)站。
分布式開發(fā)經驗。分布式系統(tǒng)開發(fā)考慮的點會更多，如何保證代碼在多節(jié)點部署時還能正確的運行？
多線程開發(fā)經驗。大量使用了concurrent包中的多線程類，多線程、線程池、鎖。結合真實的業(yè)務場景教你怎么玩轉多線程，跟你平時寫的多線程demo是完全不同的。
鄭重聲明：本項目的出發(fā)點是學習和技術分享，項目中出現(xiàn)的爬蟲案例也都是互聯(lián)網(wǎng)上可以公開訪問的網(wǎng)站，爬取時嚴格控制了爬取頻率以及爬取速度（單線程去爬取，每爬取一個頁面休眠1秒，最多爬取100個頁面），絕不會影響目標網(wǎng)站的正常運行。

項目架構

爬蟲組件

上面是爬蟲系統(tǒng)的經典架構圖，簡單說下每個組件的職責：

Spiders：每個spider負責處理一個特殊的網(wǎng)站，負責抽取目標網(wǎng)站的數(shù)據(jù)
Scheduler：調度器從引擎接受request并將他們入隊，以便之后引擎請求他們時提供給引擎
Downloader：根據(jù)request對象去執(zhí)行網(wǎng)絡下載
Pipeline：負責將spider抽取出來的item數(shù)據(jù)進行存儲，這里我們存儲在MySQL
最后我們合起來說明下爬蟲流程：

1.首先創(chuàng)建一個spider爬蟲任務，這時候會有一個入口URL，spider從這個入口開始爬取
2.調用Downloader組件去執(zhí)行http請求下載整個頁面
3.spider解析頁面中的內容，將需要的內容放入item里面，同時將頁面中的子URL放入Scheduler組件
4.Pipeline負責將item中的數(shù)據(jù)就行持久化存儲
5.URL放入Scheduler組件，Scheduler組件會對URL進行去重，避免重復爬取
6.spider爬完當前頁面后就繼續(xù)從Scheduler拿URL，如果有URL則繼續(xù)爬取，沒有則說明所有頁面都爬完了，spider任務結束

分布式爬蟲

什么是分布式爬蟲？用大白話來說就是：我部署了多個爬蟲模塊，這幾個模塊可以一起來爬蟲。從上面架構圖的分析，只需要將Scheduler模塊基于redis實現(xiàn)，那么所有的模塊的spider只需要從redis獲取URL，然后爬到新的子URL時也放入redis中，此時我們的架構已經是支持分布式爬蟲了。（代碼細節(jié)較多，文章篇幅有限，不展開細說了）

定制化爬蟲

對于一些頁面靜態(tài)化的網(wǎng)站，做了SEO可以直接被搜索引擎爬取的網(wǎng)站、沒有做反爬的網(wǎng)站，這些網(wǎng)站我們是可以定制一個通用的爬蟲策略來爬取，直接http請求，然后解析內容和圖片等資源。而對于一些做了反爬策略的，例如分頁的數(shù)據(jù)、動態(tài)渲染的網(wǎng)頁、請求頭攔截、ip高頻攔截等等。對于這類網(wǎng)站的爬蟲需要做一些定制化的邏輯，所以在架構設計上，學長提供了一個爬蟲訂制模板的入口，通過在代碼中開發(fā)針對具體網(wǎng)站的定制化爬蟲策略，這樣就可以避開大多數(shù)的反爬規(guī)則，從而實現(xiàn)一個爬蟲系統(tǒng)可以支持絕大多數(shù)的網(wǎng)站爬取。

領域模型

DO（DataObject）：與數(shù)據(jù)庫表結構一一對應，通過DAO層向上傳輸數(shù)據(jù)源對象
BO（BusinessObject）：業(yè)務對象。由Service層輸出的封裝業(yè)務邏輯的對象
VO（View Object）：顯示層對象，通常是Web向模板渲染引擎層傳輸?shù)膶ο?br /> BO和VO領域模型又分為BoRequest（輸入模型）、BoResponse（輸出模型）、VoRequest（輸入模型）、VoResponse（輸出模型）

技術棧

前端：vue + element
后端：jdk1.8 + springboot + redis + mysql + jsoup + httpClient
權限：security+spring-session

接口設計

整個項目接口采用的目前互聯(lián)網(wǎng)比較流行的restful風格設計，每個接口、每個參數(shù)都有詳細的文檔說明。因為企業(yè)中開發(fā)必然是團隊協(xié)作，必然前后端分離的開發(fā)模式，你得先把接口定義出來，然后前端可以和后端同步開發(fā)。還有一種就是對外提供接口，比如你們隔壁團隊也想調用你這個服務的接口，但是你兩排期是同一周，這時候你得先把接口定義出來給人家，然后大家同步開發(fā)，開發(fā)完了之后再進行聯(lián)調。

運行效果

系統(tǒng)登錄

dashboard

實時統(tǒng)計系統(tǒng)數(shù)據(jù)

任務管理

頁面菜單、“查詢”、“創(chuàng)建”、“編輯”、“刪除”按鈕都支持單獨的權限分配，這里列舉了爬蟲案例，“爬取百度新聞”、“爬取必應壁紙”、“爬取當當網(wǎng)書籍信息”、“爬取新浪新聞”

創(chuàng)建爬蟲任務

爬取必應壁紙

很多人用必應搜索是因為喜歡必應的高清壁紙（學長就是這樣的），這里演示必應壁紙的爬蟲。因為必應壁紙涉及分頁，這里剛好用到我們的訂制模板功能，通過寫一個BingTemplate模板，我們可以輕松地搞定分頁數(shù)據(jù)爬蟲。

文明爬蟲，我們只爬了100頁數(shù)據(jù)，每頁的圖片都在資源詳情里面，非常漂亮，可以點擊放大圖片并下載

爬取當當網(wǎng)

之前學長在專欄分享過《圖書管理系統(tǒng)》，當時為了讓內容更真實，從當當網(wǎng)爬取了一些書籍信息，比如書名、作者、出版社、價格、簡介等信息。（感興趣的可以去專欄回顧下圖書管理系統(tǒng)的設計和實現(xiàn)）

訂制一個當當網(wǎng)的爬蟲模板DangDangTemplate，只須一個URL，開始我們的訂制爬蟲之旅。

爬取百度和新浪新聞

百度新聞和新浪新聞都比較好爬，不需要模板，直接新建任務，只需要填入一個URL，立即開始爬蟲。

資源管理

所有爬取到的數(shù)據(jù)都可以在資源管理界面查詢到，點擊“資源詳情”可以看到具體的文本、圖片內容，圖片支持放大、下載、以及幻燈片播放

模板管理
前面已經說過，對于有反爬策略的網(wǎng)站和定制化的爬蟲都可以通過開發(fā)一個爬蟲模板來實現(xiàn)，這樣的設計對系統(tǒng)擴展性是非常好的，等于說一個爬蟲系統(tǒng)可以爬取所有的內容。

日志管理
日志管理默認是開給管理員的，在系統(tǒng)中的所有操作都會被記錄，在系統(tǒng)出現(xiàn)異常時也便于管理員進行問題排查。

用戶管理
默認也是只有管理員擁有用戶管理菜單的權限，可以新建/編輯用戶、分配用戶角色、禁用/啟用等操作

編輯用戶信息
擁有賬號編輯權限的用戶可以進行編輯操作

角色管理
默認也是只有管理員擁有角色管理菜單的權限，這里的權限是細粒度到按鈕權限的，每個按鈕都可以進行權限管理，假如給用戶只分配了任務的“查詢”權限，但是這個用戶是個程序員，他想通過接口請求直接訪問任務修改接口，這時候后端是會權限校驗的，返回“未授權”的錯誤碼，然后前端根據(jù)“未授權”錯誤碼會重定向到一個403頁面（這也是為什么說只有前端校驗是不安全的，后端也必須得校驗，這在實際企業(yè)里開發(fā)也是這樣的，還沒有實際開發(fā)經驗的學弟學妹拿個小本本記一記，哈哈哈）

權限設計

權限基于security和spring-session實現(xiàn)。權限可以分為認證和授權，認證其實就是登錄，用戶登錄時會進行賬號密碼的校驗，校驗成功后會，會把session存入redis中。授權指的是用戶是否擁有訪問后端資源的權限，每個新用戶在創(chuàng)建后都會分配角色，角色其實就是一個權限集合，這里的權限可以理解為訪問后端一個個接口（資源）的權限。

這里權限設計的非常靈活，細粒度到按鈕級別，比如課程菜單的新增、刪除、修改、查詢動作，學生可能只有課程的查詢權限，無法新增和修改課程，即使通過接口直接訪問后端的修改或者新增接口，后端也會返回授權失敗錯誤，因為后端每個需要權限的接口都打了權限標識，只有擁有資源權限用戶才能訪問。

日志方案

日志采用lombok注解+slf4j+log4j2的實現(xiàn)方案，基于profile實現(xiàn)了多環(huán)境的日志配置，因為不同環(huán)境的日志打印策略是不一樣，比如開發(fā)環(huán)境我可能需要打印到console控制臺，需要debug級別的日志以便于本地開發(fā)調試，測試環(huán)境可能就需要打印到日志文件里，線上環(huán)境可能需要打印到文件的同時將日志發(fā)送到kafka然后收集到es中，這樣當線上部署了多臺機器后我們查日志不用一臺一臺機器去查日志了，因為都收集到es了，我們只需要登錄kibana去搜索，這樣就非常方便。這里說到的kafka+es+kibana這樣一套日志解決方案也是目前互聯(lián)網(wǎng)公司比較常用的一套解決方案。如果你動手能力夠強，你可以本地搭一套kafka、es、kibana，然后只需要在配置文件中加入幾行配置就實現(xiàn)了這么一套企業(yè)級的日志解決方案（默認是輸出到日志文件）。

下面是部分關鍵配置，如果要配置kafka，只需要在標簽中配置配置即可

<?xml version="1.0" encoding="UTF-8"?> <Configuration status="WARN" xmlns:xi="http://www.w3.org/2001/XInclude"><Properties><Property name="LOG_FILE">system.log</Property><Property name="LOG_PATH">./logs</Property><Property name="PID">????</Property><Property name="LOG_EXCEPTION_CONVERSION_WORD">%xwEx</Property><Property name="LOG_LEVEL_PATTERN">%5p</Property><Property name="LOG_DATE_FORMAT_PATTERN">yyyy-MM-dd HH:mm:ss.SSS</Property><Property name="CONSOLE_LOG_PATTERN">%clr{%d{${LOG_DATE_FORMAT_PATTERN}}}{faint} %clr{${LOG_LEVEL_PATTERN}} %clr{${sys:PID}}{magenta} %clr{---}{faint} %clr{[%15.15t]}{faint} %clr{%-40.40c{1.}}{cyan} %clr{:}{faint} %m%n${sys:LOG_EXCEPTION_CONVERSION_WORD}</Property><Property name="FILE_LOG_PATTERN">%d{${LOG_DATE_FORMAT_PATTERN}} ${LOG_LEVEL_PATTERN} ${sys:PID} --- [%t] %-40.40c{1.}:%L : %m%n${sys:LOG_EXCEPTION_CONVERSION_WORD}</Property></Properties><Appenders><xi:include href="log4j2/file-appender.xml"/></Appenders><Loggers><logger name="com.senior.book" level="info"/><Root level="info"><AppenderRef ref="FileAppender"/></Root></Loggers> </Configuration>

服務監(jiān)控

服務監(jiān)控基于 Actuator + Prometheus + Grafana 實現(xiàn)，代碼侵入很小，只需要在pom中加入依賴。數(shù)據(jù)大盤Dashboard可以自己設置，也可以去Dashboard市場下載你想要的模板，總之，這塊完全是看動手能力，大家自己玩吧~~~

<!--服務監(jiān)控--> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-actuator</artifactId> </dependency> <dependency><groupId>io.micrometer</groupId><artifactId>micrometer-registry-prometheus</artifactId> </dependency>

感興趣的可以聯(lián)系：

q2680555242

總結

以上是生活随笔為你收集整理的基于SpringBoot和Vue的分布式爬虫系统(JavaWeb)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。