像公有云數據湖和 Delta Lake 這樣的平臺指出了一個中央數據樞紐的趨勢，用來支持決策和AI驅動的自動化決策。

數據倉庫是否再次加入這股浪潮呢，或者會逐漸消亡？

如果你不清楚這個問題的答案也很正常。數據倉庫在一方面目前仍處于熱門階段。筆者作為一個長期的行業觀察者，看到了在不斷創新和創業活動浪潮下行業的快速發展。

這種趨勢基本上始于十年前標準設備進入數據倉庫主流，然后隨著市場向新一代云數倉轉移逐漸獲得了新動力。在過去幾年中，一個云數倉供應商（Snowflake） 在市場上獲得了非常多的支持。

數據倉庫的衰落

但在另一方面，數據倉庫也不斷被行業中的新事物所沖擊，例如大數據、機器學習和人工智能。這種趨勢造成了數據倉庫在企業IT優先級下降的印象，但事實上大多數組織至少有一個或者多個數據倉庫服務于各種下游應用程序。

數據倉庫一直作為企業核心工作服務，是幾年前我覺得數據倉庫遠未消亡的原因，這也可能解釋了為什么其他觀察者認為他們必須重新定義數據倉庫的概念，以使其在數據湖和云計算時代保持相關性。

數據倉庫作為一種實踐，不僅蓬勃發展，而且現在已被視為云計算行業的重要核心增長。但是，如果你只是關注以此數據倉庫標簽進入市場的那些平臺（例如Snowflake），你也將錯過這個領域大部分的動作。

數據湖的興起

許多人認為“數據湖”正在迅速發展成為下一代數據倉庫。對于那些不熟悉這個概念的人來說，數據湖是多結構數據的系統或存儲庫，它們以原始格式和模式存儲，通常作為對象“blob”或文件存儲。

數據湖通常用作所有企業數據的單個存儲，包括源系統數據的原始副本和用于生成報告，可視化，數據分析和機器學習等任務的轉換數據。它們包含分布式文件或對象存儲，機器學習模型庫以及高度并行化的處理和存儲資源集群。并且，數據庫通常在讀取時使用模式，并使用統計模型從中提取有意義的相關性和模式，而不是對它們存儲的對象強制執行通用模式和語義。

這些都與Inmon和Kimball核心概念不一致，這些概念為大多數專業人員的數據倉庫方法提供了信息。從根本上說，一個數據倉庫主要用來聚合，保留和管理官方認可的“單一版本的真實”數據記錄。此概念與所管理數據的特定應用程序域以及使用它的特定用例無關。

如果你懷疑我在那個分數上說的話，請看看Bill Inmon對數據倉庫的定義以及Inmon和Ralph Kimball框架的比較。數據倉庫通常都是關于數據驅動的決策支持，這使得它可以很好地擴展到AI驅動的推理的新世界。

下一代數據倉庫

在過去的一年中，一些備受矚目的行業公告標志著數據倉庫角色的轉變。盡管決策支持（也稱為商業智能，報告和在線分析處理）仍然是大多數數據倉庫的核心用例，但我們看到了其向決策自動化的穩步轉變。換句話說，數據倉庫現在正支持著數據科學管道，為數據驅動的推理構建了機器學習應用程序。

新一代數據倉庫實際上是數據湖，對那些用于構建和訓練機器學習模型的清洗，整合和驗證的數據進行管理。例如，去年秋天在Amazon re：Invent 大會上，亞馬遜網絡服務公布了AWS Lake Formation。這種新的托管服務的明確目的是簡化和加速安全數據湖的設置。然而，AWS Lake Formation 擁有云數據倉庫的所有特點，盡管AWS并沒有這樣稱呼它，實際上已經提供了一個面向決策支持應用程序的經典數據倉庫。

AWS Lake Formation的架構和功能類似于數據倉庫。實際上，AWS以這種方式來描述它：“數據湖是一個集中的，策劃的和安全的存儲庫，它以原始形式存儲所有數據并為分析做好準備。通過數據湖，您可以分解數據孤島并組合不同類型的分析，以獲商業洞察力并指導更好的業務決策。“

另一個例子是 Databricks 最近宣布的 Delta Lake開源項目。 Delta Lake的明確目的（現在可以在Apache 2.0許可下使用）類似于AWS Lake格式：通過對數據湖中維護的數據集的聚合，清洗，管理和治理，以支持機器學習。

Delta Lake 位于現有的內部部署或云數據存儲平臺之上，可以從Apache Spark訪問，例如HDFS，Amazon S3或Microsoft Azure blob存儲。 Delta Lake將數據存儲在Parquet中，以提供Databricks所稱的“事務存儲層”.Parquet是一種開源的列式存儲格式，無論數據處理框架的選擇如何，都可用于Hadoop生態系統中的任何項目。它通過樂觀并發可串行化，快照隔離，數據版本控制，回滾和模式實施來支持ACID事務。

Delta Lake和AWS Lake Formation之間的一個關鍵區別是 Delta Lake 處理該管道中的批量和流數據。另一個是Delta Lake支持所有數據的ACID事務，允許數百個應用程序同時進行多次寫入和讀取。此外，開發人員可以訪問每個Delta Lake的早期版本，以進行審計，回滾或重現其MLFlow機器學習實驗的結果。

在最廣泛的層面上，Delta Lake似乎與使用最廣泛的開源數據倉庫項目 Apache Hive 競爭，盡管 Hive 完全依賴基于 HDFS 的存儲，并且直到最近才解決對ACID交易的支持。Hive 3一年前被宣布終于為基于Hadoop的數據倉庫提供ACID支持。 Hive 3使用delta文件為事務CRUD（創建讀取更新刪除）表提供操作的原子性和快照隔離。

以AI驅動的決策自動化的基礎

這些最近的行業公告 - AWS Lake Formation，Delta Lake和Hive 3預測是數據湖成為所有決策支持和決策自動化應用以及所有交易數據應用的治理中心的日子。為了加速這些趨勢，Hive 3和Delta Lake等開源項目需要在供應商和用戶之間獲得更廣泛的吸引力。

“數據倉庫”這一術語可能主要指的是商業智能結構化數據的受管理的多域存儲。但是，底層數據平臺將繼續發展，為基于云的人工智能管道提供核心數據治理基礎。

AI而非BI正在推動企業數據倉庫的發展。

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的数据湖正在成为新的数据仓库的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。