簡介：Apache Flink x Iceberg Meetup 上海站

你是否有過流批技術棧不統一的抓狂？

你是否有過流批數據對不上的煩惱？

你是否有過，海量數據更新時效性跟不上的無奈？

Apache Flink 社區 2021 首場 Meetup 來啦！

4月17日 | 上海 | 線下

來一場 Flink x 數據湖的干貨體驗之旅～

本次 Meetup 邀請了來自阿里巴巴、騰訊、Dell 科技集團、汽車之家的四位技術專家，聚焦 Flink 數據湖應用主題，圍繞湖倉一體架構實踐、Iceberg 和對象存儲的數據湖構建方案、超大規模數據入湖實踐以及數據入湖面臨的挑戰等，全方位解析數據湖生產應用難題！

【活動亮點】

• 超多實用干貨，從數據湖應用面臨的挑戰入手，解析數據湖架構升級、對象存儲與 Iceberg 的數據湖生態以及百億數據入湖實踐，輕松 get 數據湖正確打開方式；
• 活動形式多樣化，線下線上同步開啟，同城可參與線下 Meetup 面對面交流，異地也可在線觀看直播，精彩內容不錯過；
• 豐富周邊等你拿，報名參加就有機會獲得超多 Flink 社區定制的精美周邊！

嘉賓及議題介紹

《汽車之家基于 Apache Iceberg 的湖倉一體架構實踐》

邸星星 | 汽車之家 實時計算平臺負責人

演講簡介：

近年來，批流一體、湖倉一體成為大數據領域十分火熱的話題，汽車之家也在持續探索如何對大數據架構進行升級轉型，充分發揮“新鮮”數據的價值，為用戶帶來更好的使用體驗。本文將分享汽車之家基于 Apache Iceberg 進行數倉架構升級過程中的一些實踐。

嘉賓簡介：

邸星星，汽車之家實時計算平臺負責人，長期從事實時計算與 OLAP 方面的平臺建設工作，致力于為公司提供大規模、高效、穩定的計算與查詢服務。

《Iceberg 和對象存儲構建數據湖方案》

孫偉 | Dell科技集團 高級軟件研發經理

演講簡介：

本演講主題將論述如何基于對象存儲和 Iceberg 來構建數據湖生態。講述對象存儲作為 Iceberg 的數據湖存儲支撐所需要解決的一些問題以及優化思路，提供了開源 S3 catalog 可行實現方案，并給出對比其他存儲方案(如 HDFS)的優勢。

演講將進一步給出商業對象存儲與 Iceberg 適配的另一種最佳實踐方法，并構建 Flink+Iceberg+對象存儲的數據湖進行實例演示。同時本演講將基于面向存儲空間優化的思路，通過改造對象存儲和 Iceberg 結合方式，給出一種源數據和 Iceberg table 共享數據源的方法來適配不同的應用場景。

嘉賓簡介：

孫偉，Dell 科技集團，高級軟件研發經理，2014年加入 Dell 科技集團，深入參與 Atmos 到 ECS 兩代對象存儲產品的設計和研發，有豐富的分布式系統和對象存儲架構設計經驗?，F致力于將對象存儲和開源大數據平臺深度結合，幫助客戶搭建完整數據湖方案。

《百億級實時數據入湖實戰》

陳俊杰 | 騰訊 數據湖研發高級工程師

演講簡介：

你是否有過流批技術棧不統一的抓狂？你是否有過流批數據對不上的煩惱？你是否有過，海量數據更新時效性跟不上的無奈？

騰訊應用業界最新技術 Flink + Iceberg 技術幫助多個業務方實現了業務數據實時入倉入湖，端到端數據可見性提高到秒級。本次分享將介紹騰訊如何將 Flink + Iceberg 技術應用到多個百億級數據入湖任務，入湖過程中遇到的挑戰，入湖數據如何進行優化保證分析引擎的高效查詢。

嘉賓簡介：

陳俊杰，騰訊數據湖研發高級工程師，多年大數據工作經驗，開源大數據組件 Spark、 Iceberg、Parquet 等貢獻者。

《Flink 和 Iceberg 如何解決數據入湖面臨的挑戰》

胡爭 | Apache Iceberg Committer，阿里巴巴技術專家

演講簡介：

我們經常會把來源不同的數據定期或實時地同步到數倉/數據湖中，其中有一些令人頭痛的問題：

任務同步一半數據中斷，導致原有的數據湖報表不準確，這時怎么辦？
持續的數據導入后，業務方發現作業越跑越慢？
老板說：怎么把 MySQL 的數據報表做的更實時一些，比如分鐘級別？
數據同步作業跑著跑著突然中斷，原來是上游改了 schema ？
其他問題

本次分享我們將借助 Flink 和 Iceberg 來嘗試解決上述數據入湖的相關挑戰，幫助業務同學更加高效地聚焦在自身的業務挑戰上。

嘉賓簡介：

胡爭（子毅），目前主要負責 Apache Flink 數據湖方案的設計和研發工作，是 Apache Iceberg 及 Apache Flink 項目的長期活躍貢獻者。同時也是 Apache HBase PMC 成員，合著有《HBase 原理與實踐》。

活動議程及報名

■ 活動議程

■ 活動詳情

時間：4月17日 13:00-17:30
地點：上海市長寧區上海金鐘路968號凌空SOHO 攜程12號樓11層
直播觀看：https://developer.aliyun.com/live/246619

原文鏈接：https://developer.aliyun.com/article/783290?

版權聲明：本文內容由阿里云實名注冊用戶自發貢獻，版權歸原作者所有，阿里云開發者社區不擁有其著作權，亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將立刻刪除涉嫌侵權內容。

總結

以上是生活随笔為你收集整理的Apache Flink Meetup · 上海站，超强数据湖干货等你！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。