Lambda 架構(gòu)

Lambda 架構(gòu)由Storm的作者Nathan Marz提出，其設(shè)計目的在于提供一個能滿足大數(shù)據(jù)系統(tǒng)關(guān)鍵特性的架構(gòu)，包括高容錯、低延遲、可擴展等。其整合離線計算與實時計算，融合不可變性、讀寫分離和復雜性隔離等原則，可集成Hadoop, Kafka, Spark，Storm等各類大數(shù)據(jù)組件。
Lambda 架構(gòu)可分解為三層Layer，即Batch Layer, Real-Time(Speed) Layer和Serving Layer。

Batch Layer : 存儲數(shù)據(jù)集，在數(shù)據(jù)集上預先計算查詢函數(shù)，并構(gòu)建查詢所對應(yīng)的View。Batch Layer可以很好的處理離線數(shù)據(jù)，但有很多場景數(shù)據(jù)是不斷實時生成且需要實時查詢處理，對于這情況， Speed Layer更為適合。

Speed Layer : Batch Layer處理的是全體數(shù)據(jù)集，而Speed Layer處理的是最近的增量數(shù)據(jù)流。Speed Layer為了效率，在接收到新的數(shù)據(jù)后會不斷更新Real-time View，而Batch Layer是根據(jù)全體離線數(shù)據(jù)集直接得到Batch View。

Serving Layer : Serving Layer用于合并Batch View和Real-time View中的結(jié)果數(shù)據(jù)集到最終數(shù)據(jù)集。

推薦系統(tǒng)之lambda架構(gòu)

斗魚大數(shù)據(jù)架構(gòu)

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的推荐系统-07-lambda架构的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。