工具idea

所用的技術(shù)類型：

Maven+mybatis+ssm+springboot+springcloud+redis+elasticsearch+mysql

在springcloud中運用到Eureka服務(wù)注冊與發(fā)現(xiàn)的集群分布+feign框架實現(xiàn)的rest接口調(diào)用+ribbon的負載均衡+Hystrix的處理分布式系統(tǒng)的延遲和容錯的開源庫

?

爬蟲流程：

確定首頁URL，在谷歌瀏覽器中F12，往下滑動頁面，找到真正的url，因為頁面是以ajax請求進行的。

發(fā)送請求，獲取數(shù)據(jù)。設(shè)置定時器持續(xù)爬取數(shù)據(jù)，將爬取的源數(shù)據(jù)從string轉(zhuǎn)化為json，再將json轉(zhuǎn)化為對象存儲帶list集合中。

解析數(shù)據(jù)。設(shè)置條件判斷進行數(shù)據(jù)的有效性檢驗，采用redis去重，將url設(shè)置為redis中的key，判斷redis中是否存在相同地址，不存在則添加到數(shù)據(jù)庫和同步到redis，否則不添加數(shù)據(jù)到數(shù)據(jù)庫。

存儲數(shù)據(jù)，使用mybatis進行數(shù)據(jù)的插入。

?

項目目前流程：.

用戶發(fā)起請求，如localhost:9001/search?keyword=黃

利用feign框架實現(xiàn)rest接口調(diào)用

{其服務(wù)提供者和服務(wù)消費者均注冊在eurekaserver中}并且eureka以集群分布式的形式，避免了單點故障，以及eureka所面臨的高并發(fā)問題

通過ribbon的自定義負載均衡算法進行負載均衡。然后告知用戶下一步的請求資源所在處。

在整個過程中，服務(wù)監(jiān)控hystrixboard全程監(jiān)控其流程，以便處理分布式系統(tǒng)的延遲和容錯

?

從理念上講，分布式的實現(xiàn)有兩種形式：

水平擴展：當(dāng)一臺機器扛不住流量時，就通過添加機器的方式，將流量平分到所有服務(wù)器上，所有機器都可以提供相當(dāng)?shù)姆?wù)；

垂直拆分：前端有多種查詢需求時，一臺機器扛不住，可以將不同的需求分發(fā)到不同的機器上，比如A機器處理余票查詢的請求，B機器處理支付的請求。

在目前的整個項目中，用到了分布式的水平擴展，也就是我們所說的集群。但由于項目板塊不多，所以并未使用垂直拆分。

?

【補充】ribbon實現(xiàn)負載均衡

總結(jié)

以上是生活随笔為你收集整理的爬虫 spider12——暂停小总结_爬虫流程_微服务架构流程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。