作者 | 顧榮? 南京大學(xué) PASALab

導(dǎo)讀：為了解決大數(shù)據(jù)、AI 等數(shù)據(jù)密集型應(yīng)用在云原生計算存儲分離場景下，存在的數(shù)據(jù)訪問延時高、聯(lián)合分析難、多維管理雜等痛點問題，南京大學(xué) PASALab、阿里巴巴、Alluxio 在 2020 年?9 月份聯(lián)合發(fā)起了開源項目 Fluid。

Fluid?是云原生環(huán)境下數(shù)據(jù)密集型應(yīng)用的高效支撐平臺，項目自開源發(fā)布以來吸引了眾多相關(guān)方向領(lǐng)域?qū)＜液凸こ處煹年P(guān)注，在大家的積極反饋下社區(qū)的開發(fā)工作進(jìn)展迅速。近期 Fluid 0.3 版本正式發(fā)布，主要新增了三項重要功能，分別是：

• 實現(xiàn)通用數(shù)據(jù)存儲加速，提供 Kubernetes 數(shù)據(jù)卷訪問加速功能

• 加強(qiáng)數(shù)據(jù)訪問安全保護(hù)，提供面向數(shù)據(jù)集的細(xì)粒度權(quán)限控制功能

• 簡化用戶復(fù)雜參數(shù)配置，提供原生化系統(tǒng)內(nèi)部參數(shù)配置優(yōu)化功能

Fluid 項目地址：https://github.com/fluid-cloudnative/fluid

這三大主要功能的開發(fā)需求來自眾多社區(qū)用戶的生產(chǎn)實際反饋，此外 Fluid v0.3 還進(jìn)行了一些 bug 修復(fù)和文檔更新，歡迎使用體驗 Fluid v0.3！感謝為此版本做出貢獻(xiàn)的社區(qū)小伙伴，我們會繼續(xù)廣泛關(guān)注和采納社區(qū)建議，推動 Fluid 項目的發(fā)展，期待聽到大家更多的反饋！

Fluid v0.3 下載鏈接：https://github.com/fluid-cloudnative/fluid/releases

下文是本次新版本發(fā)布功能的進(jìn)一步介紹。

1. 支持 Kubernetes?數(shù)據(jù)卷訪問加速

盡管之前版本的 Fluid 已經(jīng)支持諸多底層存儲系統(tǒng)（如 HDFS、OSS 等），但在實際生產(chǎn)環(huán)境中，企業(yè)內(nèi)部的存儲系統(tǒng)往往更加多樣，因存儲系統(tǒng)不兼容而無法對接 Fluid 的情況仍然存在。例如用戶使用 Lustre 分布式文件系統(tǒng)，由于之前的 Fluid 所使用的分布式緩存引擎尚不兼容 Lustre 系統(tǒng)，因此該用戶將無法正常使用 Fluid。

為了提升 Fluid 在云原生數(shù)據(jù)訪問加速場景的通用性，Fluid v0.3. 增加了對數(shù)據(jù)卷 Persistent Volume Claim (PVC) 和主機(jī)目錄（Host Path）掛載的加速支持，從而為各類存儲系統(tǒng)與 Fluid 的對接提供了一種通用化加速方案：無論使用哪一種底層存儲系統(tǒng)，只要該存儲系統(tǒng)可被映射為 Kubernetes 原生的數(shù)據(jù)卷 PVC 資源對象或者集群節(jié)點上的主機(jī)目錄，那么它就可以通過 Fluid 享受到如分布式數(shù)據(jù)緩存、數(shù)據(jù)親和性調(diào)度等功能特性帶來的優(yōu)勢。其基本概念如下圖所示：

具體使用方法非常簡單，用戶只需在 mountPoint 中指定 pvc://nfs-imagenet，其中 nfs-imagenet 是 Kubernetes 集群中已有數(shù)據(jù)卷。

apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata:name: fluid-imagenet spec:mounts:- mountPoint: pvc://nfs-imagenetname: nfs-imagenet

【點擊即可查看系統(tǒng)演示視頻】

我們通過 TensorFlow Benchmark 訓(xùn)練 ResNet-50 模型為測試場景，驗證了 PVC 訪問加速能力，以下是速度提升結(jié)果：

從評估結(jié)果來看，Fluid 所提供的分布式緩存能力都能夠提升整個訓(xùn)練任務(wù)的速度，縮短整體訓(xùn)練時間超過 20%。更多與測試相關(guān)的細(xì)節(jié)請參考 Github 上的相關(guān)示例文檔：

• PVC 加速文檔：https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/accelerate_pvc.md

• 主機(jī)目錄加速文檔：https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/hostpath.md

2. 數(shù)據(jù)集的訪問權(quán)限控制

很多提供機(jī)器學(xué)習(xí)平臺服務(wù)的企業(yè)存在多用戶共享存儲系統(tǒng)情況和場景。出于安全性考慮，機(jī)器學(xué)習(xí)平臺服務(wù)提供商需要進(jìn)行嚴(yán)格的訪問權(quán)限控制以保障用戶之間的數(shù)據(jù)隔離性，即任何未經(jīng)授權(quán)的用戶不得隨意訪問他人數(shù)據(jù)集。

Fluid 在 v0.3 中提供了對上述場景的支持：多用戶共享的底層存儲系統(tǒng)掛載到 Fluid 后，Fluid 暴露出的文件權(quán)限信息（如所屬用戶、文件模式等）將與底層存儲系統(tǒng)保持一致，即實現(xiàn)了文件從底層存儲系統(tǒng)到部署 Fluid 的節(jié)點的透傳。這也就意味著底層存儲系統(tǒng)中的訪問權(quán)限控制同樣將在部署 Fluid 的各個節(jié)點上生效，以此保證用戶之間的數(shù)據(jù)隔離性不被破壞。

除此以外，Fluid v0.3 還提供了數(shù)據(jù)集“臨時借用”的功能特性。“臨時借用”指的是某用戶需要擁有臨時訪問所屬另一個用戶的某個數(shù)據(jù)集的權(quán)限。在 Fluid v0.3 中，管理員可通過靈活的配置在部署 Fluid 的節(jié)點上完成數(shù)據(jù)集所有權(quán)的轉(zhuǎn)換，以賦予指定用戶“臨時借用”他人數(shù)據(jù)集的能力，這能夠幫助集群管理員實現(xiàn)更細(xì)粒度和靈活的數(shù)據(jù)集權(quán)限管理。

訪問非 root 用戶數(shù)據(jù)的使用文檔：https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/nonroot_access.md

3.?默認(rèn)參數(shù)配置優(yōu)化

Fluid 提供了很多參數(shù)配置供用戶定制化自己的應(yīng)用，在 Fluid 0.3 版本之前，用戶需要根據(jù)實際環(huán)境和業(yè)務(wù)目標(biāo)完全自行進(jìn)行手工配置，然而手工完成配置優(yōu)化工作對于大部分用戶而言是比較困難且工作量繁重的。

Fluid v0.3 內(nèi)置了大量面向 Alluxio 和 Fuse 等內(nèi)部組件的默認(rèn)參數(shù)配置優(yōu)化，用戶不再需要將大量精力放在參數(shù)配置調(diào)優(yōu)上。根據(jù)我們經(jīng)驗優(yōu)化后的默認(rèn)參數(shù)設(shè)置能夠在大部分 Fluid 常見使用場景下獲得較好性能。

總結(jié)

Fluid v0.3 主要解決社區(qū)用戶在實際生產(chǎn)環(huán)境中反饋的問題和需求。對主機(jī)目錄和 PVC 掛載的支持為兼容不同的底層存儲系統(tǒng)給出了一個通用的解決方案；數(shù)據(jù)集的訪問權(quán)限控制讓 Fluid 能夠真正滿足多用戶共享的實際生產(chǎn)環(huán)境的需求；優(yōu)化后的默認(rèn)參數(shù)配置增加了 Fluid 的易用性，并在多數(shù)場景下保持性能的穩(wěn)定。

如果您有任何疑問，歡迎加入釘釘交流群參與和討論：https://img.alicdn.com/tfs/TB1Cm4ciNvbeK8jSZPfXXariXXa-452-550.png

致謝

• 感謝徐之浩，羅義力（南京大學(xué) PASALab）對于支持 Kubernetes 數(shù)據(jù)卷訪問加速的貢獻(xiàn)

• 感謝呂冬冬，謝遠(yuǎn)東（云知聲）對于數(shù)據(jù)集權(quán)限控制功能的貢獻(xiàn)

作者簡介

顧榮 博士，南京大學(xué)計算機(jī)系副研究員，研究方向大數(shù)據(jù)處理系統(tǒng)，已在 TPDS、ICDE、JPDC、IPDPS、ICPP 等領(lǐng)域前沿期刊會議發(fā)表論文 20 余篇，主持國家自然科學(xué)基金面上項目/青年項目、中國博士后科學(xué)基金特別資助項目多項，研究成果落地應(yīng)用于阿里巴巴、百度、字節(jié)跳動、中國石化、華泰證券等公司和開源項目 Apache Spark、Alluxio，獲 2018 年度江蘇省科學(xué)技術(shù)一等獎、2019 年度江蘇省計算機(jī)學(xué)會青年科技獎，擔(dān)任中國計算機(jī)學(xué)會系統(tǒng)軟件專委會委員/大數(shù)據(jù)專委會通訊委員、江蘇省計算機(jī)學(xué)會大數(shù)據(jù)專委會秘書長、Fluid 開源項目 co-founder、Alluxio 開源項目 PMC 成員。

“阿里巴巴云原生關(guān)注微服務(wù)、Serverless、容器、Service Mesh 等技術(shù)領(lǐng)域、聚焦云原生流行技術(shù)趨勢、云原生大規(guī)模的落地實踐，做最懂云原生開發(fā)者的公眾號。”

總結(jié)

以上是生活随笔為你收集整理的Fluid 0.3 新版本正式发布：实现云原生场景通用化数据加速的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。