阿里再开源!基于JAVA的模块化开发框架JarsLink
阿里妹導(dǎo)讀:JarsLink是一個基于JAVA的模塊化開發(fā)框架,它提供在運(yùn)行時(shí)動態(tài)加載模塊(JAR包)、卸載模塊和模塊間調(diào)用的API,它能夠幫助你進(jìn)行模塊化開發(fā),也能幫助你的系統(tǒng)在運(yùn)行時(shí)動態(tài)添加新功能,減少編譯、打包和部署帶來的發(fā)布耗時(shí),同時(shí)它也是阿里巴巴的開源項(xiàng)目之一,目前在螞蟻金服微貸事業(yè)群各團(tuán)隊(duì)廣泛使用。
開源地址:https://github.com/alibaba/jarslink
需求背景
應(yīng)用拆分的多或少都有問題。多則維護(hù)成本高,每次發(fā)布一堆應(yīng)用。少則拆分成本高,無用功能很難下線。
故障不隔離。當(dāng)一個系統(tǒng)由多人同時(shí)參與開發(fā)時(shí),修改A功能,可能會影響B(tài)功能,引發(fā)故障。
多分支開發(fā)引發(fā)沖突。多分支開發(fā)完之后合并會產(chǎn)生沖突。
牽一發(fā)動全身。一處核心代碼的改動,或一個基礎(chǔ)Jar的升級需要回歸整個系統(tǒng)。
升級和遷移成本高。中間件升級每個應(yīng)用都有升級成本。
模塊化開發(fā)的好處
可插拔,一個應(yīng)用由多個模塊組成,應(yīng)用里的模塊可拆和合,模塊可快速在多個系統(tǒng)中遷移和部署。
模塊化開發(fā),模塊之間互相隔離,實(shí)現(xiàn)故障隔離。
一個模塊一個分支,不會引發(fā)代碼沖突。
在模塊中增加或修改功能,只會影響當(dāng)前模塊,不會影響整個應(yīng)用。
動態(tài)部署,在運(yùn)行時(shí)把模塊部署到應(yīng)用中,快速修復(fù)故障,提高發(fā)布效率。
多版本部署,可以在運(yùn)行時(shí)同時(shí)部署某個模塊的新舊版本,進(jìn)行AB TEST。
減少資源消耗,通過部署模塊的方式減少應(yīng)用數(shù)量和機(jī)器數(shù)量。
JarsLink的應(yīng)用場景
數(shù)據(jù)管理中心,如果你需要開發(fā)一個數(shù)據(jù)管理系統(tǒng),這個系統(tǒng)需要去不同的異構(gòu)系統(tǒng)采集數(shù)據(jù),這些系統(tǒng)會提供不同類型的接口,如RPC,HTTP等。并且數(shù)據(jù)采集的數(shù)據(jù)源多,每種數(shù)據(jù)源都需要對接和開發(fā),數(shù)據(jù)質(zhì)量比較差,需要經(jīng)常修改代碼進(jìn)行發(fā)布。在這種場景下,通過模塊化開發(fā),實(shí)現(xiàn)一個數(shù)據(jù)源使用一個模塊進(jìn)行對接,上線新數(shù)據(jù)源只需要新增模塊,修改BUG只需要修改某個模塊,并能快速上線。
后臺管理系統(tǒng),互聯(lián)網(wǎng)應(yīng)用發(fā)展到一定階段會出現(xiàn)很多后臺需求,如客服查詢用戶的信息幫助解答問題,開發(fā)查后臺數(shù)據(jù)排查系統(tǒng)BUG,運(yùn)營使用后臺功能發(fā)送運(yùn)營活動等。這些功能發(fā)布頻率會大于核心系統(tǒng),如果放在核心系統(tǒng)里會影響其穩(wěn)定性,所以我們必須要建一個后臺系統(tǒng)來開發(fā)后臺功能,但是這樣又帶來一個新的問題,很多開發(fā)都會來這個系統(tǒng)進(jìn)行開發(fā),拉多分支造成代碼沖突,A業(yè)務(wù)的BUG影響到B業(yè)務(wù)。所以如果每個業(yè)務(wù)線一個模塊,每個模塊使用一個單獨(dú)的分支進(jìn)行開發(fā),就能進(jìn)行隔離開發(fā),提高開發(fā)速度,開發(fā)完后在運(yùn)行時(shí)加載到系統(tǒng)中。
微服務(wù)集成測試, 目前一個微服務(wù)是一個FAT JAR,如果有幾十個微服務(wù),則需要啟動很多進(jìn)程,DEBUG端口會很多,使用JarsLink框架合并FAT JAR,再路由請求到其他JAR,就可以只啟動一個進(jìn)程進(jìn)行DEBUG測試。
指標(biāo)計(jì)算系統(tǒng),可以把消息轉(zhuǎn)發(fā)到不同的模塊中進(jìn)行處理,并輸出指標(biāo)。
目前螞蟻金服微貸事業(yè)部幾個系統(tǒng)和幾十個模塊已經(jīng)使用JarsLink框架。
JarsLink的特性
隔離性
類隔離:框架為每個模塊的Class使用單獨(dú)的ClassLoader來加載,每個模塊可以依賴同一種框架的不同的版本。
實(shí)例隔離:框架為每個模塊創(chuàng)建了一個獨(dú)立的Spring上下文,來加載模塊中的BEAN,實(shí)例化失敗不會影響其他模塊。
資源隔離:后續(xù)會支持模塊之間的資源隔離,每個模塊使用獨(dú)立的CPU和內(nèi)存資源。
動態(tài)性
動態(tài)發(fā)布:模塊能在運(yùn)行時(shí)動態(tài)加載到系統(tǒng)中,實(shí)現(xiàn)不需要重啟和發(fā)布系統(tǒng)新增功能。支持突破雙親委派機(jī)制,在運(yùn)行時(shí)加載父加載器已經(jīng)加載過的類,實(shí)現(xiàn)模塊升級依賴包不需要系統(tǒng)發(fā)布。
動態(tài)卸載:模塊能在運(yùn)行時(shí)被動態(tài)卸載干凈,實(shí)現(xiàn)快速下線不需要功能。
易用性
提供了通用靈活的API讓系統(tǒng)和模塊進(jìn)行交互。
實(shí)現(xiàn)原理
模塊加載
JarsLink為每個模塊創(chuàng)建一個新的URLClassLoader來加載模塊。并且支持突破雙親委派,設(shè)置了overridePackages的包將由子類加載進(jìn)行加載,不優(yōu)先使用父類加載器已加載的。
模塊的卸載
卸載模塊需要滿足三個條件:
模塊里的實(shí)例對象沒有被引用
模塊里的Class沒有被引用
類加載器沒有被引用
所以需要做到三點(diǎn)卸載實(shí)例,卸載類和卸載類加載器,整個模塊的卸載順序如下:
關(guān)閉資源:關(guān)閉HTTP連接池或線程池。
關(guān)閉IOC容器:調(diào)用applicationContext.close()方法關(guān)閉IOC容器。
移除類加載器:去掉模塊的引用。
卸載JVM租戶(開發(fā)中):卸載該模塊使用的JVM租戶,釋放資源。
模塊間隔離
模塊化開發(fā)需要解決隔離性問題,否則各模塊之間會互相影響。模塊之間的隔離有三個層次:
類隔離:為每個模塊創(chuàng)建一個類加載器來實(shí)現(xiàn)類隔離。
實(shí)例隔離:為每個模塊創(chuàng)建一個新的IOC容器來加載模塊里面的BEAN。
資源隔離:對每個模塊只能使用指定的CPU和內(nèi)存。
目前JarsLink實(shí)現(xiàn)了類隔離和實(shí)例隔離,資源隔離準(zhǔn)備引入ALIJVM多租戶來解決。
模塊間通訊
模塊之間的通訊也有三種方式,RPC,本地調(diào)用,深克隆/反射。
本地調(diào)用:目前JarsLink的doAction就是使用的這種通訊方式,這種方式要求模塊的類加載器是父子關(guān)系,且IOC容器也是父子容器。
RPC調(diào)用:用于跨JVM的模塊之間調(diào)用,利用SOFA 4動態(tài)API在模塊中發(fā)布和引用TR服務(wù)來實(shí)現(xiàn)。
深克隆/反射:深克隆其他模塊的入?yún)?#xff0c;反射其他模塊的方法實(shí)現(xiàn)調(diào)用。
類加載機(jī)制
OSGI類加載機(jī)制的關(guān)系采用的是網(wǎng)狀結(jié)構(gòu),每個模塊通過 Export-Package 來聲明我要給別人用哪些類,通過 Import-Package來聲明我要用別人的哪些類。JarsLink采用扁平化管理,每個模塊都有一個共同的父類,這個父類加載器就是加載ModuleLoader類的加載器,如果是SOFA應(yīng)用,模塊的父加載器是KernelAceClassLoader,類加載器關(guān)系如下:
如果所有模塊都需要使用的類,可以通過KernelAceClassLoader加載,如果是SOFA系統(tǒng)可以通過POM引入。
JarsLink框架類圖
JarsLink框架的類圖如下:
AbstractModuleRefreshScheduler:入口類,負(fù)責(zé)定期掃描本地和內(nèi)存中的模塊是否發(fā)生變更,如果變更,則更新模塊。
ModuleLoader:模塊加載引擎,負(fù)責(zé)模塊加載。
ModuleManager:模塊管理者,負(fù)責(zé)在運(yùn)行時(shí)注冊,卸載,查找模塊和執(zhí)行Action。
Module:模塊,一個模塊有多個Action。
Action:模塊里的執(zhí)行者。
總結(jié)
以上是生活随笔為你收集整理的阿里再开源!基于JAVA的模块化开发框架JarsLink的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 万万没想到,分布式存储系统的一致性是..
- 下一篇: 阿里巴巴与清华大学成立联合实验室,探索下