分布式服务框架原理(一)设计和实现
分布式服務(wù)框架設(shè)計
分布式服務(wù)框架一般可以分為以下幾個部分,
(1)RPC基礎(chǔ)層:
包括底層通信框架,如NIO框架、通信協(xié)議,序列化和反序列化協(xié)議,
以及在這幾部分上的封裝,屏蔽底層通信細節(jié)和序列化方式差異
(2)服務(wù)發(fā)布/消費:
服務(wù)提供者根據(jù)消費者請求消息中的接口名,方法名,參數(shù)列表等信息,通過Java反射,調(diào)用本地的接口實現(xiàn)類;
服務(wù)消費者將服務(wù)提供者發(fā)布的接口封裝成遠程服務(wù)調(diào)用;
(3)服務(wù)調(diào)用鏈:
在服務(wù)調(diào)用的職責鏈中,通過在調(diào)用鏈切面的編碼完成相關(guān)的監(jiān)控和擴展,如負載均衡,服務(wù)調(diào)用性能統(tǒng)計,調(diào)用完成通知,
失敗重發(fā)等功能
(4)服務(wù)注冊中心:
注冊中心負責服務(wù)的發(fā)布和通知,需要支持服務(wù)的平滑上線下線等
(5)服務(wù)治理中心:
服務(wù)治理中心是一個可視化的模塊,提供對服務(wù)的可視化分析和維護,包括服務(wù)運行狀態(tài),調(diào)用關(guān)系和健康度等
下面以Dubbo為例來分析分布式服務(wù)框架的結(jié)構(gòu)。
Dubbo的設(shè)計角色
(1)系統(tǒng)角色
Provider: 暴露服務(wù)的服務(wù)提供方。
Consumer: 調(diào)用遠程服務(wù)的服務(wù)消費方。
Registry: 服務(wù)注冊與發(fā)現(xiàn)的注冊中心。
Monitor: 統(tǒng)計服務(wù)的調(diào)用次調(diào)和調(diào)用時間的監(jiān)控中心。
Container: 服務(wù)運行容器。
(2)調(diào)用關(guān)系
服務(wù)容器負責啟動,加載,運行服務(wù)提供者。
服務(wù)提供者在啟動時,向注冊中心注冊自己提供的服務(wù)。
服務(wù)消費者在啟動時,向注冊中心訂閱自己所需的服務(wù)。
注冊中心返回服務(wù)提供者地址列表給消費者,如果有變更,注冊中心將基于長連接推送變更數(shù)據(jù)給消費者。
服務(wù)消費者,從提供者地址列表中,基于軟負載均衡算法,選一臺提供者進行調(diào)用,如果調(diào)用失敗,再選另一臺調(diào)用。
服務(wù)消費者和提供者,在內(nèi)存中累計調(diào)用次數(shù)和調(diào)用時間,定時每分鐘發(fā)送一次統(tǒng)計數(shù)據(jù)到監(jiān)控中心
Dubbo是如何架構(gòu)的
Dubbo的總體架構(gòu)如圖所示:
框架分層架構(gòu)中,各個層次的設(shè)計要點:
服務(wù)接口層(Service):該層是與實際業(yè)務(wù)邏輯相關(guān)的,根據(jù)服務(wù)提供方和服務(wù)消費方的業(yè)務(wù)設(shè)計對應(yīng)的接口和實現(xiàn)。
配置層(Config):對外配置接口,以ServiceConfig和ReferenceConfig為中心,可以直接new配置類,也可以通過spring解析配置生成配置類。
服務(wù)代理層(Proxy):服務(wù)接口透明代理,生成服務(wù)的客戶端Stub和服務(wù)器端Skeleton,以ServiceProxy為中心,擴展接口為ProxyFactory。
服務(wù)注冊層(Registry):封裝服務(wù)地址的注冊與發(fā)現(xiàn),以服務(wù)URL為中心,擴展接口為RegistryFactory、Registry和RegistryService??赡軟]有服務(wù)注冊中心,此時服務(wù)提供方直接暴露服務(wù)。
集群層(Cluster):封裝多個提供者的路由及負載均衡,并橋接注冊中心,以Invoker為中心,擴展接口為Cluster、Directory、Router和LoadBalance。將多個服務(wù)提供方組合為一個服務(wù)提供方,實現(xiàn)對服務(wù)消費方來透明,只需要與一個服務(wù)提供方進行交互。
監(jiān)控層(Monitor):RPC調(diào)用次數(shù)和調(diào)用時間監(jiān)控,以Statistics為中心,擴展接口為MonitorFactory、Monitor和MonitorService。
遠程調(diào)用層(Protocol):封將RPC調(diào)用,以Invocation和Result為中心,擴展接口為Protocol、Invoker和Exporter。Protocol是服務(wù)域,它是Invoker暴露和引用的主功能入口,它負責Invoker的生命周期管理。Invoker是實體域,它是Dubbo的核心模型,其它模型都向它靠擾,或轉(zhuǎn)換成它,它代表一個可執(zhí)行體,可向它發(fā)起invoke調(diào)用,它有可能是一個本地的實現(xiàn),也可能是一個遠程的實現(xiàn),也可能一個集群實現(xiàn)。
信息交換層(Exchange):封裝請求響應(yīng)模式,同步轉(zhuǎn)異步,以Request和Response為中心,擴展接口為Exchanger、ExchangeChannel、ExchangeClient和ExchangeServer。
網(wǎng)絡(luò)傳輸層(Transport):抽象mina和netty為統(tǒng)一接口,以Message為中心,擴展接口為Channel、Transporter、Client、Server和Codec。
數(shù)據(jù)序列化層(Serialize):可復用的一些工具,擴展接口為Serialization、 ObjectInput、ObjectOutput和ThreadPool。
Dubbo的底層實現(xiàn)
(1)協(xié)議支持
Dubbo支持多種協(xié)議,如下所示:
Dubbo協(xié)議 Hessian協(xié)議
HTTP協(xié)議 RMI協(xié)議
WebService協(xié)議
Thrift協(xié)議 Memcached協(xié)議 Redis協(xié)議在通信過程中,不同的服務(wù)等級一般對應(yīng)著不同的服務(wù)質(zhì)量,那么選擇合適的協(xié)議便是一件非常重要的事情。你可以根據(jù)你應(yīng)用的創(chuàng)建來選擇。例如,使用RMI協(xié)議,一般會受到防火墻的限制,所以對于外部與內(nèi)部進行通信的場景,就不要使用RMI協(xié)議,而是基于HTTP協(xié)議或者Hessian協(xié)議。
(2)默認使用Dubbo協(xié)議
連接個數(shù):單連接
連接方式:長連接
傳輸協(xié)議:TCP
傳輸方式:NIO異步傳輸
序列化:Hessian二進制序列化
適用范圍:傳入傳出參數(shù)數(shù)據(jù)包較小(建議小于100K),消費者比提供者個數(shù)多,單一消費者無法壓滿提供者,盡量不要使用dubbo協(xié)議傳輸大文件或超大字符串
使用場景:常規(guī)遠程服務(wù)方法調(diào)用
從上面的適用范圍總結(jié),dubbo適合小數(shù)據(jù)量大并發(fā)的服務(wù)調(diào)用,以及消費者機器遠大于生產(chǎn)者機器數(shù)的情況,不適合傳輸大數(shù)據(jù)量的服務(wù)比如文件、視頻等,除非請求量很低。
(3)Dubbo源碼模塊圖
Dubbo以包結(jié)構(gòu)來組織各個模塊,各個模塊及其關(guān)系,如圖所示:
可以通過Dubbo的代碼(使用Maven管理)組織,與上面的模塊進行比較。簡單說明各個包的情況:
dubbo-common 公共邏輯模塊,包括Util類和通用模型。
dubbo-remoting 遠程通訊模塊,相當于Dubbo協(xié)議的實現(xiàn),如果RPC用RMI協(xié)議則不需要使用此包。
dubbo-rpc 遠程調(diào)用模塊,抽象各種協(xié)議,以及動態(tài)代理,只包含一對一的調(diào)用,不關(guān)心集群的管理。
dubbo-cluster 集群模塊,將多個服務(wù)提供方偽裝為一個提供方,包括:負載均衡、容錯、路由等,集群的地址列表可以是靜態(tài)配置的,也可以是由注冊中心下發(fā)。
dubbo-registry 注冊中心模塊,基于注冊中心下發(fā)地址的集群方式,以及對各種注冊中心的抽象。
dubbo-monitor 監(jiān)控模塊,統(tǒng)計服務(wù)調(diào)用次數(shù),調(diào)用時間的,調(diào)用鏈跟蹤的服務(wù)。
dubbo-config 配置模塊,是Dubbo對外的API,用戶通過Config使用Dubbo,隱藏Dubbo所有細節(jié)。
dubbo-container 容器模塊,是一個Standalone的容器,以簡單的Main加載Spring啟動,因為服務(wù)通常不需要Tomcat/JBoss等Web容器的特性,沒必要用Web容器去加載服務(wù)。
服務(wù)暴露和消費的詳細過程
(1)服務(wù)提供者暴露一個服務(wù)的詳細過程
服務(wù)提供者暴露服務(wù)的主過程:
首先ServiceConfig類拿到對外提供服務(wù)的實際類ref(如:HelloWorldImpl),然后通過ProxyFactory類的getInvoker方法使用ref生成一個AbstractProxyInvoker實例,
到這一步就完成具體服務(wù)到Invoker的轉(zhuǎn)化。接下來就是Invoker轉(zhuǎn)換到Exporter的過程。
Dubbo處理服務(wù)暴露的關(guān)鍵就在Invoker轉(zhuǎn)換到Exporter的過程(如上圖中的紅色部分),下面我們以Dubbo和RMI這兩種典型協(xié)議的實現(xiàn)來進行說明:
Dubbo的實現(xiàn)
Dubbo協(xié)議的Invoker轉(zhuǎn)為Exporter發(fā)生在DubboProtocol類的export方法,它主要是打開socket偵聽服務(wù),并接收客戶端發(fā)來的各種請求,通訊細節(jié)由Dubbo自己實現(xiàn)。
RMI的實現(xiàn)
RMI協(xié)議的Invoker轉(zhuǎn)為Exporter發(fā)生在RmiProtocol類的export方法,
它通過Spring或Dubbo或JDK來實現(xiàn)RMI服務(wù),通訊細節(jié)這一塊由JDK底層來實現(xiàn),這就省了不少工作量。
(2)服務(wù)消費者消費一個服務(wù)的詳細過程
服務(wù)消費的主過程:
首先ReferenceConfig類的init方法調(diào)用Protocol的refer方法生成Invoker實例(如上圖中的紅色部分),這是服務(wù)消費的關(guān)鍵。
接下來把Invoker轉(zhuǎn)換為客戶端需要的接口(如:HelloWorld)。
整理自?
Dubbo官方文檔
Dubbo架構(gòu)設(shè)計詳解
阿里架構(gòu)之旅(二)——Dubbo解析
總結(jié)
以上是生活随笔為你收集整理的分布式服务框架原理(一)设计和实现的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 没有微信支付宝怎么申请健康码
- 下一篇: Maven日常 —— 你应该知道的一二三