數據處理技術為各行各業的業務解決了海量存儲和分析的需求，但數據量的爆發式增長、數據類型的不斷豐富，對數據處理技術和時效性都提出了更高的要求，這使得通用計算引擎（如Spark、Flink）、交互式分析系統（如ClickHouse）、數據湖框架（如Iceberg）等技術快速發展。

作為專業的開發者社區，DEEPNOVA致力于促進技術交流、開拓技術視野、建立技術生態，并積極擁抱開源社區，針對新一代的數據湖、實時數倉等開源技術深入研究，并實現部分功能的優化。

為了與開發者更好地進行技術探討交流，4月16日 14：00—17：30，DEEPNOVA 聯合Iceberg社區共同推出“DEEPNOVA MEETUP Online”。此次活動主題為《基于 Iceberg 打造實時數據湖》，匯聚了DEEPNOVA社區專家團力量，將帶領聽眾了解完整的Iceberg技術發展史及在國產化數據中的應用與實踐，真正做到將優質技術內容回饋社區。

1

核心內容

1. 技術解讀：《Apache Iceberg過去、現狀及未來》

分享嘉賓：Apache Iceberg和HBase PMC成員 胡爭

內容亮點：Apache Iceberg作為一種開放的標準化數據湖表格式，已經被國內外眾多大廠選擇和應用。近期Apache Iceberg計劃在AWS之上推出商業版的數據湖存儲服務。與此同時，Snowflake、AWS、Cloudera等公司紛紛發布Iceberg數據湖。事實證明，經過幾年的發展，Apache Iceberg取得了飛速的發展和巨大的成功。本次分享內容包括Iceberg開源歷程，以及當下和未來重點發力的技術方向。

2. 技術實踐：《網易湖倉管理系統Arctic》

分享嘉賓：網易數據湖和實時計算團隊負責人?馬進

內容亮點：Arctic 是網易自研的基于 Iceberg 的湖倉管理系統。同時，網易通過Flink和Arctic構建了流批一體的數據生產鏈路，實時離線統一的數倉。在 Iceberg 基礎之上，Arctic具有支持主鍵、結構自優化、數據一致性、實時訂閱和實時join等特性。本次分享將主要介紹 Arctic 的核心設計思路。

3. 技術實踐：《FastData DLink 對Iceberg索引的優化與實踐》

分享嘉賓：滴普科技存儲引擎部總監?張敢

內容亮點：Z-Order是一種可以將多維數據壓縮到一維的技術，在時空索引以及圖像方面使用較廣，對多字段進行排序，對原始數據重新布局， 減少不必要的I/O，進而提升查詢速度。基于Iceberg 社區提出的主鍵去重方案，DEEPNOVA 社區又利用 BloomFilter 進行了優化，對 eq-delete 文件進行過濾，減少內存占用，提升小文件合并效率。本次分享將主要解讀FastData在索引技術上的優化能力。

4. 技術實踐：《FastData DLink基于Iceberg 構建實時數據湖的優化與實踐》

分享嘉賓：滴普科技數據庫內核開發工程師?簡勇華

內容亮點：Iceberg CDC能力是支持構建實時數倉的核心能力。DEEPNOVA 社區對 Iceberg CDC 功能進行了完整實現，并實現Hive歷史數據快速遷移入湖，對社區PR 生成元數據的方式進行了并行優化，提升數倍的遷移性能。本次分享將圍繞如何構建實時數倉，展示FastData的技術優勢。

聽眾收益：

1. 了解Apache Iceberg的架構原理、特性及應用場景

2. 基于Iceberg實現不同功能的技術優化能力及其業務價值

3. 開放的技術交流社區，與資深技術專家共同探討湖倉技術

我們堅信技術的前進一定是無數技術從業者一起努力的結果，也衷心希望DEEPNOVA社區能成為技術愛好者們的學習交流平臺，借助更多人的力量將社區建設得更加完善。我們也將秉持開放、共享的社區精神，通過更多的技術分享、直播活動等方式回饋社區，讓數字技術為世界帶來無限可能。

歡迎掃碼觀看直播，轉發分享直播間邀約榜前三名，還將擁有DEEPNOVA專屬禮盒。

?Trino分析引擎如何在數據湖上進行極速分析？

實時分析型數據庫DLink支持Iceberg維度表Lookup join

如何利用湖倉一體架構處理多模數據的存儲和分析？

分析型數據庫FastData for DLink有何優勢？

成功案例

先進制造? ??

重慶機電?|九洲電器?|?科倫藥業

政務雙碳?? ?

智慧龍華?|?攀枝花東區|?深智城

能源出行????

長安新能源?|?華勝集團

消費流通????

百麗國際?|?秀域集團?|?乖寶寵物

商業綜合? ??

廣州城投?|?新華聯?|?華發股份

智慧文旅? ??

拈花灣文旅?|?大橫琴泛旅游

更多行業? ??

新建元集團?|?特驅農牧

點擊下方閱讀原文，解鎖活動詳情

總結

以上是生活随笔為你收集整理的大数据专家手把手教你打造实时数据湖的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。