作者 | 顧榮
Photo Creidt @ 輕零

導(dǎo)讀：為了解決大數(shù)據(jù)、AI?等數(shù)據(jù)密集型應(yīng)用在云原生計(jì)算存儲分離場景下，存在的數(shù)據(jù)訪問延時(shí)高、聯(lián)合分析難、多維管理雜等痛點(diǎn)問題，南京大學(xué) PASALab、阿里巴巴、Alluxio 在 2020 年 9?月份聯(lián)合發(fā)起了開源項(xiàng)目 Fluid。

近期 Fluid 0.4 版本正式發(fā)布，主要新增了以下四項(xiàng)重要功能，分別是：

• 通過 DataLoad 自定義資源，提供簡單易用且可定制的數(shù)據(jù)預(yù)熱能力

• 增強(qiáng)海量小文件數(shù)據(jù)集的支撐能力，擴(kuò)展 Fluid 對 AI 應(yīng)用的支持場景

• 開放 HDFS 文件系統(tǒng)兼容接口，支持 Spark 等框架的數(shù)據(jù)訪問

• 支持多數(shù)據(jù)集單節(jié)點(diǎn)混合部署，適應(yīng)生產(chǎn)環(huán)境中的共享集群環(huán)境

Fluid 項(xiàng)目地址：https://github.com/fluid-cloudnative/fluid

與?Fluid 0.3?類似，上述功能的開發(fā)需求同樣來自眾多社區(qū)用戶的生產(chǎn)實(shí)際反饋，此外，Fluid v0.4 還進(jìn)行了一些 bug 修復(fù)和文檔更新，歡迎使用體驗(yàn) Fluid v0.4！感謝為此版本做出貢獻(xiàn)的社區(qū)小伙伴，在接下來的版本功能迭代中，我們會繼續(xù)廣泛關(guān)注和采納社區(qū)建議，推動 Fluid 項(xiàng)目的發(fā)展，期待聽到大家更多的反饋！下文是本次新版本發(fā)布功能的進(jìn)一步介紹。

支持主動的數(shù)據(jù)預(yù)熱

在進(jìn)行 AI 應(yīng)用的模型訓(xùn)練時(shí)，數(shù)據(jù)預(yù)熱是一種常見的優(yōu)化手段。數(shù)據(jù)預(yù)熱是指在應(yīng)用運(yùn)行前，將應(yīng)用所需要的數(shù)據(jù)預(yù)先從遠(yuǎn)程存儲系統(tǒng)中拉取到本地的計(jì)算集群，供之后應(yīng)用運(yùn)行時(shí)使用。數(shù)據(jù)預(yù)熱通過一種順序的、有規(guī)則的并行數(shù)據(jù)讀取模式，避免了數(shù)據(jù)密集型應(yīng)用直接消費(fèi)遠(yuǎn)程存儲系統(tǒng)數(shù)據(jù)時(shí)，因?yàn)殡S機(jī)數(shù)據(jù)讀取造成的許多不必要的通信開銷。

因此，在 Fluid 0.4 版本中，我們實(shí)現(xiàn)了一個(gè)新的 Kubernetes 自定義資源 - DataLoad，以 Kubernetes 資源的方式為用戶提供了聲明式的 API 接口，以控制數(shù)據(jù)預(yù)熱的相關(guān)行為。DataLoad 自定義資源的一個(gè)簡單示例如下所示：

apiVersion: data.fluid.io/v1alpha1 kind: DataLoad metadata:name: imagenet-dataload spec:dataset:name: imagenetnamespace: default

另外，通過少量的額外配置，DataLoad 還可實(shí)現(xiàn)子目錄加載、緩存副本數(shù)量控制、元數(shù)據(jù)同步等許多可定制的功能，更多與 DataLoad 使用相關(guān)的細(xì)節(jié)請參考 Github 上的示例文檔。

有關(guān) DataLoad 使用與優(yōu)化效果的演示視頻如下：http://cloud.video.taobao.com/play/u/2987821887/p/1/e/6/t/1/287213603893.mp4

增強(qiáng)海量小文件數(shù)據(jù)集的支撐能力

Fluid 是云原生環(huán)境下數(shù)據(jù)密集型應(yīng)用的高效支撐平臺，因此我們自始至終都在密切關(guān)注著 Fluid 提供的數(shù)據(jù)集支撐能力在不同場景下的適用性。在 Fluid 0.4 版本之前，Fluid 已經(jīng)提供了諸如抽象、管理、加速、可觀測性等一系列數(shù)據(jù)集支撐能力，然而，根據(jù)社區(qū)成員的使用反饋，上述能力在海量小文件場景下的支持還是非常初級。

考慮到海量小文件數(shù)據(jù)集在真實(shí)生產(chǎn)環(huán)境，尤其是 AI 應(yīng)用場景的普遍性，我們對海量小文件帶來的問題進(jìn)行了深入的探究，提出了如異步元數(shù)據(jù)加載查詢、流式數(shù)據(jù)處理等解決方案，這些解決方案目前均已集成至 Fluid 0.4 版本中，以增強(qiáng) Fluid 對海量小文件數(shù)據(jù)集的支撐能力。

以下是 Fluid 使用 Alluxio Runtime 在 400 萬小文件場景下的優(yōu)化后的部分性能對比評估結(jié)果：

海量小文件的存儲管理是許多存儲系統(tǒng)都會遇到的棘手難題，在后續(xù)的版本中，我們會繼續(xù)關(guān)注這個(gè)場景以及它所帶來的問題。

方便 Spark 等大數(shù)據(jù)計(jì)算框架提供數(shù)據(jù)訪問支持

除了 AI 應(yīng)用外，Fluid 0.4 同樣支持 Spark 等大數(shù)據(jù)應(yīng)用在其上運(yùn)行。通過向用戶暴露 Alluxio 分布式緩存引擎的 Hadoop 文件系統(tǒng)兼容接口 (HCFS)，使得 Hadoop MapReduce, Apache Spark 等大數(shù)據(jù)計(jì)算框架編寫的數(shù)據(jù)分析應(yīng)用，能夠在不修改應(yīng)用代碼的情況下，直接運(yùn)行于 Fluid 之上，并享受到由 Fluid 提供的分布式緩存加速等能力。

更多關(guān)于通過 HCFS 接口訪問數(shù)據(jù)的細(xì)節(jié)，請參考 Github 上的示例文檔。

多數(shù)據(jù)集單節(jié)點(diǎn)混合部署

在真實(shí)的生產(chǎn)環(huán)境中，用戶會在 Kubernetes 集群中的 GPU 節(jié)點(diǎn)上訓(xùn)練多個(gè)任務(wù)使用多個(gè)數(shù)據(jù)集，在 Fluid 0.4 版本之前，單節(jié)點(diǎn)無法同時(shí)進(jìn)行多個(gè)數(shù)據(jù)集的混合部署，因此，如果多個(gè)用戶同時(shí)期望在同一個(gè)節(jié)點(diǎn)訪問各自所需的數(shù)據(jù)集，會出現(xiàn)某個(gè)用戶的數(shù)據(jù)集無法創(chuàng)建的情況。

在 Fluid 0.4 版本中，我們?yōu)?Fluid 增加了多數(shù)據(jù)集單節(jié)點(diǎn)混合部署的能力，這意味著，只要該節(jié)點(diǎn)上的資源足夠，來自不同用戶的多個(gè)數(shù)據(jù)集部署沖突的問題將不再發(fā)生，該能力將使得 Fluid 更加適應(yīng)實(shí)際生產(chǎn)環(huán)境的需求。另一方面，混合部署能夠有效利用空閑資源，增加集群中各個(gè)節(jié)點(diǎn)的集群資源利用率，進(jìn)一步提高 Fluid 帶來的成本收益。

有關(guān)多數(shù)據(jù)集單節(jié)點(diǎn)混合部署的簡單介紹，可參考 Github 上的示例文檔。

致謝

• 徐之浩（南京大學(xué) PASALab）對于支持小文件場景和數(shù)據(jù)預(yù)熱功能的貢獻(xiàn)

• 謝遠(yuǎn)東（云知聲）對于多數(shù)據(jù)集單節(jié)點(diǎn)混合部署功能開發(fā)和場景驗(yàn)證

• 仇伶瑋（中國電信）對于 Fluid 架構(gòu)拆分的貢獻(xiàn)，他將 runtime 和 dataset 控制器拆分，支持未來兩個(gè)組件的并行演進(jìn)

總結(jié)

Fluid 0.4 版本將繼續(xù)致力于解決社區(qū)用戶在實(shí)際生產(chǎn)環(huán)境中反饋的問題和需求，擴(kuò)展 Fluid 在各場景的適用性，提升用戶體驗(yàn)：

• 首先，對海量小文件數(shù)據(jù)集支撐能力的優(yōu)化使 Fluid 能夠更好地應(yīng)對不同的使用場景；

• 其次，全新的 DataLoad 自定義資源為用戶提供了一種簡單的數(shù)據(jù)預(yù)熱解決方案；

• 再者，對 Spark 等大數(shù)據(jù)應(yīng)用數(shù)據(jù)訪問的支持使得 Fluid 能夠?yàn)椴煌N類的數(shù)據(jù)密集型應(yīng)用提供支撐能力；

• 最后，多數(shù)據(jù)集的混合部署使得 Fluid 更能適應(yīng)實(shí)際生產(chǎn)環(huán)境的需求。

如果您有任何疑問或建議，歡迎加入釘釘交流群參與和討論：https://img.alicdn.com/tfs/TB1Cm4ciNvbeK8jSZPfXXariXXa-452-550.png

作者簡介

顧榮??博士，南京大學(xué)計(jì)算機(jī)系副研究員，研究方向大數(shù)據(jù)處理系統(tǒng)，已在 TPDS、ICDE、JPDC、IPDPS、ICPP 等領(lǐng)域前沿期刊會議發(fā)表論文 20 余篇，主持國家自然科學(xué)基金面上項(xiàng)目/青年項(xiàng)目、中國博士后科學(xué)基金特別資助項(xiàng)目多項(xiàng)，研究成果落地應(yīng)用于阿里巴巴、百度、字節(jié)跳動、中國石化、華泰證券等公司和開源項(xiàng)目 Apache Spark、Alluxio，獲 2018 年度江蘇省科學(xué)技術(shù)一等獎(jiǎng)、2019 年度江蘇省計(jì)算機(jī)學(xué)會青年科技獎(jiǎng)，擔(dān)任中國計(jì)算機(jī)學(xué)會系統(tǒng)軟件專委會委員/大數(shù)據(jù)專委會通訊委員、江蘇省計(jì)算機(jī)學(xué)會大數(shù)據(jù)專委會秘書長、Fluid 開源項(xiàng)目 co-founder、Alluxio 開源項(xiàng)目 PMC 成員。

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Fluid 0.4 新版本正式发布：支持数据预热，优化小文件场景的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。