來源 | 阿里巴巴云原生公眾號

2021 年 4 月 27 日，云原生計算基金會（CNCF）宣布通過全球 TOC 投票接納 Fluid 成為 CNCF 官方沙箱項目。Fluid 是一個由南京大學、阿里云以及 Alluxio 開源社區(qū)聯(lián)合發(fā)起并開源的云原生數(shù)據(jù)編排和加速系統(tǒng)。

Fluid 項目地址：
https://github.com/fluid-cloudnative/fluid

項目介紹

云原生環(huán)境下，計算存儲分離架構在提升系統(tǒng)彈性和靈活性的同時，給大數(shù)據(jù) / AI 等數(shù)據(jù)密集型應用帶來了計算性能和管理效率方面的挑戰(zhàn)。現(xiàn)有云原生編排框架運行此類應用面臨數(shù)據(jù)訪問延時高、多數(shù)據(jù)源聯(lián)合分析難、應用使用數(shù)據(jù)過程復雜等痛點。Fluid 正是為解決這些問題而生的。

Fluid 系統(tǒng)架構圖

Fluid 運行在 Kubernetes 上，是一個可擴展的分布式數(shù)據(jù)編排和加速系統(tǒng)，其目標為構建云原生環(huán)境下數(shù)據(jù)密集型應用的高效支撐平臺。該項目開源于 2020 年 9 月，短短半年多時間內發(fā)展迅速，吸引了眾多領域專家和工程師的關注與貢獻，并在包括微博、中國電信等多家大型知名IT和互聯(lián)網企業(yè)中使用。

核心功能

Fluid 在云原生應用與數(shù)據(jù)的協(xié)同編排、調度優(yōu)化、數(shù)據(jù)緩存等幾方面提出一系列技術創(chuàng)新，其核心功能包括：

• 提供存儲無感知的數(shù)據(jù)對象-數(shù)據(jù)集(Dataset)：通過自定義資源對象 (Custom Resource Definition)實現(xiàn)對不同存儲系統(tǒng)的統(tǒng)一抽象定義與管理，支持可觀測性和彈性伸縮。
• 利用分布式緩存技術加速數(shù)據(jù)集讀寫：通過擴展 CacheRuntime 對象，自定義并管理分布式數(shù)據(jù)緩存引擎。目前已原生支持緩存引擎 Alluxio 和 JindoFS。
• 基于容器調度的智能數(shù)據(jù)編排：基于 Kubernetes 容器調度和擴縮容能力，實現(xiàn)數(shù)據(jù)緩存的智能化編排。
• 數(shù)據(jù)集與應用協(xié)同調度：擴展 Kubernetes 調度器感知數(shù)據(jù)集緩存信息，就近調度應用，發(fā)揮本地讀寫緩存的性能優(yōu)勢。
• 標準訪問接口：使用 Kubernetes 標準存儲接口 Persistent Volume Claim 訪問數(shù)據(jù)集，實現(xiàn)無縫兼容云原生應用。
• 面向場景的性能調優(yōu)：針對深度學習、批量數(shù)據(jù)處理等任務，提供數(shù)據(jù)集預熱、元數(shù)據(jù)管理優(yōu)化、小文件 IO 優(yōu)化、自動彈性伸縮等手段，普遍提升任務運行效率。

展望未來

Fluid 開源項目致力于通過結合學術界的原創(chuàng)研究和工業(yè)界的落地實踐能力，加速云原生基礎設施擁抱數(shù)據(jù)密集型應用，與開源社區(qū)一同構建 Kubernetes 平臺應用使用和管理數(shù)據(jù)的統(tǒng)一界面。Fluid 開源社區(qū)目前有 5 位核心維護者 (Maintainer)，分別來自南京大學，阿里巴巴和 Alluxio，并由來自南京大學 PASALab 的顧榮副研究員擔任開源社區(qū)主席。此外，來自中國電信、微博、Boss 直聘、第四范式、云知聲等企業(yè)的工程師都貢獻了大量的開發(fā)工作。

作為對原生 Kubernetes 生態(tài)完全兼容的數(shù)據(jù)密集型應用運行支撐平臺，Fluid 將向更靈活、智能、可擴展的架構方向發(fā)展，不斷提升開發(fā)者和用戶使用體驗。未來，Fluid 將繼續(xù)與社區(qū)并肩、與生態(tài)同行，致力于推進云原生技術在大數(shù)據(jù) / AI 系統(tǒng)領域的生態(tài)建設與普及，與全球開發(fā)者一起拓展云原生的邊界。

總結

以上是生活随笔為你收集整理的Fluid 进入 CNCF Sandbox，加速大数据和 AI 应用拥抱云原生的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。