導讀：如何基于阿里云 OSS 、JindoFS 和數據湖構建（Data Lake Formation，DLF）等基礎服務，同時結合阿里云上豐富的計算引擎，打造一個全新云原生數據湖體系？

作者 | 吳威

來源 | 數據湖技術圈

前言

“數據湖”正在被越來越多人提起，盡管定義并不統一，但企業們都已紛紛下水實踐，無論是 AWS 還是阿里云、華為。我們認為：數據湖是大數據和 AI 時代融合存儲和計算的全新體系。

為什么這么說？還要從它的發展說起。

數據量爆發式增長的今天，數字化轉型成為 IT 行業的熱點，數據需要更深度的價值挖掘，因此需要確保數據中保留的原始信息不丟失，應對未來不斷變化的需求。當前以 Oracle 為代表的數據庫中間件已經逐漸無法適應這樣的需求，于是業界也不斷地產生新的計算引擎，以便應對大數據時代的到來。企業開始紛紛自建開源 Hadoop 數據湖架構，原始數據統一存放在 HDFS 系統上，引擎以 Hadoop 和 Spark 開源生態為主，存儲和計算一體。缺點是需要企業自己運維和管理整套集群，成本高且集群穩定性較差。

在這種情況下，云上托管 Hadoop 數據湖架構（即 EMR 開源數據湖）應運而生。底層物理服務器和開源軟件版本由云廠商提供和管理，數據仍統一存放在 HDFS 系統上，引擎以 Hadoop 和 Spark 開源生態為主。這個架構通過云上 IaaS 層提升了機器層面的彈性和穩定性，使企業的整體運維成本有所下降，但企業仍然需要對 HDFS 系統以及服務運行狀態進行管理和治理，即應用層的運維工作。

因為存儲和計算耦合在一起，穩定性不是最優，兩種資源無法獨立擴展，使用成本也不是最優。同時，受到開源軟件本身能力的限制，傳統數據湖技術無法滿足企業用戶在數據規模、存儲成本、查詢性能以及彈性計算架構升級等方面的需求，也無法達到數據湖架構的理想目標。企業在這個時期需要更低廉的數據存儲成本、更精細的數據資產管理、可共享的數據湖元數據、更實時的數據更新頻率以及更強大的數據接入工具。

云原生時代到來，我們可以有效利用公有云的基礎設施，數據湖平臺也有了更多的技術選擇。比如云上純托管的存儲系統逐步取代 HDFS，成為數據湖的存儲基礎設施，并且引擎豐富度也不斷擴展。

除了 Hadoop 和 Spark 的生態引擎之外，各云廠商還發展出面向數據湖的引擎產品。如分析類的數據湖引擎有 AWS Athena 和華為 DLI，AI 類的有 AWS Sagemaker。這個架構仍然保持了一個存儲和多個引擎的特性，所以統一元數據服務至關重要。

云原生數據湖體系

基于此，阿里云正式發布了云原生數據湖體系，由對象存儲 OSS、數據湖構建 Data Lake Formation、E-MapReduce 產品強強組合，提供存儲與計算分離架構下，湖存儲、湖加速、湖管理、湖計算的企業級數據湖解決方案。

數據湖存儲用云上的對象存儲 OSS 加上 JindoFS 取代 HDFS，提升數據規模、降低存儲成本、實現計算和存儲分離架構；

數據湖構建（DLF）服務提供統一元數據和統一的權限管理，支持多套引擎接入；

EMR 上 Spark 等計算引擎的云原生化，可以更好的利用彈性計算資源；

云上的數據開發治理平臺 Dataworks 解決了數據湖元數據治理、數據集成、數據開發等問題。

數據是最好的佐證：阿里云云原生數據湖體系可支持EB級別的數據湖，存儲超過 10 萬 Database、1 億 Table 以及 10 億級別的 Partition，每天支持超過 30 億次的元數據服務請求，支持超過 10 個開源計算引擎以及 MaxCompute 和 Hologres 等云原生數倉引擎。

同時，阿里云數據湖存儲成本相對于高效云盤下降 10 倍以上，查詢性能相對于傳統對象存儲提速 3 倍以上，并且查詢引擎有著極高的彈性，能在 30 秒內啟動超過 1000 個 Spark Executor。由此可見，阿里云強大的存儲和計算能力共同打造了業界領先的數據湖體系。這些背后都在告訴我們：想在大數據時代占據先機，你需要有一套系統，能夠在保留數據的原始信息情況下，又能快速對接多種不同的計算平臺。

在此之際，我們將告訴大家如何基于阿里云 OSS、JindoFS 和數據湖構建（DataLakeFormation，DLF）等基礎服務，結合阿里云上豐富的計算引擎，打造一個全新云原生數據湖體系。

• 數據湖存儲 OSS

阿里云對象存儲 OSS 是數據湖的統一存儲層，它基于 12 個 9 的可靠性設計，可存儲任意規模的數據，可對接業務應用、各類計算分析平臺，非常適合企業基于 OSS 構建數據湖。相對于 HDFS 來說，OSS 可以存儲海量小文件，并且通過冷熱分層、高密度存儲、高壓縮率算法等先進技術極大降低單位存儲成本。同時 OSS 對 Hadoop 生態友好，且無縫對接阿里云各計算平臺。針對數據分析場景，OSS 推出 OSS Select、Shallow Copy 和多版本等功能，加速數據處理速度，增強數據一致性能力。

• 數據湖加速

對象存儲系統在架構設計上和 HDFS 等分布式文件系統存在一定差異，同時存儲和計算分離架構中 OSS 是遠端的存儲服務，在大數據計算層面缺少對數據本地化的支持。因此，在 OSS 對象存儲服務的基礎上，阿里云定制了自研的大數據存儲服務 ——JindoFS，極大的提升數據湖上的引擎分析性能，在 TPC-DS、Terasort 等常見的 benchmark 測試中，采用計算存儲分離架構的 JindoFS 性能已經達到或超過了本地部署的 HDFS。同時 JindoFS 完全兼容 Hadoop 文件系統接口，給客戶帶來更加靈活、高效的計算存儲方案，目前已驗證支持 Hadoop 開源生態中最主流的計算服務和引擎：Spark、Flink、Hive、MapReduce、Presto、Impala 等。當前 JindoFS 存儲服務包含在阿里云 EMR 產品中，未來 JindoFS 會有更多的產品形態服務于數據湖加速場景。

• 數據湖構建（DLF）

傳統的數據湖架構非常強調數據的統一存儲，但對數據的 Schema 管理缺乏必要的手段和工具，需要上層分析和計算引擎各自維護元數據，并且對數據的訪問沒有統一的權限管理，無法滿足企業級用戶的需求。數據湖構建（DLF）服務是阿里云在 2020 年 9 月推出的針對數據湖場景的核心產品，主要為了解決構建數據湖過程中用戶對數據資產的管理需求。DLF 對 OSS 中存儲的數據提供統一的元數據視圖和統一的權限管理，并提供實時數據入湖和清洗模板，為上層的數據分析引擎提供生產級別的元數據服務。

• 云原生計算引擎

當前阿里云上眾多云原生計算引擎已經接入或準備接入數據湖構建服務，包括阿里云 EMR 上的開源計算引擎 Spark、Hive、Presto、Flink 以及大數據計算服務 MaxCompute、數據洞察 Databricks 引擎和數據湖分析（DLA）等。以最常用的開源引擎 Spark 為例，阿里云 Spark 可以直接對接數據湖構建的元數據服務，運行在多集群或多平臺上的 Spark 任務共享同一個數據湖元數據視圖。并且 EMR 為 Spark 推出了 Shuffle Service 服務，Spark 引擎因此獲得云原生平臺上的彈性擴縮容能力。云原生計算引擎結合數據湖架構可以獲得更高的靈活度并極大的降低數據分析成本。

另外，云原生數據倉庫 MaxCompute 和實時 HSAP 分析引擎 Hologres 也準備接入數據湖構建服務，未來數倉和數據湖將會發生什么樣的化學反應呢？敬請期待。

• 數據湖治理

DataWorks 數據綜合治理可為阿里云客戶提供統一的數據視圖，用于掌握數據資產的現狀、助力數據質量的提升、提高獲取數據的效率、保障數據安全的合規并提升數據查詢的分析效率。可以有效支撐離線大數據倉庫的構建、數據聯邦的查詢和分析處理、海量數據的低頻交互式查詢和智能報表的構建，以及數據湖方案的實現。

綜上所述，利用阿里云的基礎組件和整體解決方案，用戶可以方便的構建一個數據湖平臺，完成企業大數據架構轉型。

總結

以上是生活随笔為你收集整理的的数据湖_一文读懂云原生数据湖体系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。