簡介：Apache Flink x Iceberg Meetup 上海站

你是否有過流批技術(shù)棧不統(tǒng)一的抓狂？

你是否有過流批數(shù)據(jù)對不上的煩惱？

你是否有過，海量數(shù)據(jù)更新時效性跟不上的無奈？

Apache Flink 社區(qū) 2021 首場 Meetup 來啦！

4月17日 | 上海 | 線下

來一場 Flink x 數(shù)據(jù)湖的干貨體驗之旅～

本次 Meetup 邀請了來自阿里巴巴、騰訊、Dell 科技集團、汽車之家的四位技術(shù)專家，聚焦 Flink 數(shù)據(jù)湖應(yīng)用主題，圍繞湖倉一體架構(gòu)實踐、Iceberg 和對象存儲的數(shù)據(jù)湖構(gòu)建方案、超大規(guī)模數(shù)據(jù)入湖實踐以及數(shù)據(jù)入湖面臨的挑戰(zhàn)等，全方位解析數(shù)據(jù)湖生產(chǎn)應(yīng)用難題！

【活動亮點】

• 超多實用干貨，從數(shù)據(jù)湖應(yīng)用面臨的挑戰(zhàn)入手，解析數(shù)據(jù)湖架構(gòu)升級、對象存儲與 Iceberg 的數(shù)據(jù)湖生態(tài)以及百億數(shù)據(jù)入湖實踐，輕松 get 數(shù)據(jù)湖正確打開方式；
• 活動形式多樣化，線下線上同步開啟，同城可參與線下 Meetup 面對面交流，異地也可在線觀看直播，精彩內(nèi)容不錯過；
• 豐富周邊等你拿，報名參加就有機會獲得超多 Flink 社區(qū)定制的精美周邊！

嘉賓及議題介紹

《汽車之家基于 Apache Iceberg 的湖倉一體架構(gòu)實踐》

邸星星 | 汽車之家 實時計算平臺負(fù)責(zé)人

演講簡介：

近年來，批流一體、湖倉一體成為大數(shù)據(jù)領(lǐng)域十分火熱的話題，汽車之家也在持續(xù)探索如何對大數(shù)據(jù)架構(gòu)進(jìn)行升級轉(zhuǎn)型，充分發(fā)揮“新鮮”數(shù)據(jù)的價值，為用戶帶來更好的使用體驗。本文將分享汽車之家基于 Apache Iceberg 進(jìn)行數(shù)倉架構(gòu)升級過程中的一些實踐。

嘉賓簡介：

邸星星，汽車之家實時計算平臺負(fù)責(zé)人，長期從事實時計算與 OLAP 方面的平臺建設(shè)工作，致力于為公司提供大規(guī)模、高效、穩(wěn)定的計算與查詢服務(wù)。

《Iceberg 和對象存儲構(gòu)建數(shù)據(jù)湖方案》

孫偉 | Dell科技集團 高級軟件研發(fā)經(jīng)理

演講簡介：

本演講主題將論述如何基于對象存儲和 Iceberg 來構(gòu)建數(shù)據(jù)湖生態(tài)。講述對象存儲作為 Iceberg 的數(shù)據(jù)湖存儲支撐所需要解決的一些問題以及優(yōu)化思路，提供了開源 S3 catalog 可行實現(xiàn)方案，并給出對比其他存儲方案(如 HDFS)的優(yōu)勢。

演講將進(jìn)一步給出商業(yè)對象存儲與 Iceberg 適配的另一種最佳實踐方法，并構(gòu)建 Flink+Iceberg+對象存儲的數(shù)據(jù)湖進(jìn)行實例演示。同時本演講將基于面向存儲空間優(yōu)化的思路，通過改造對象存儲和 Iceberg 結(jié)合方式，給出一種源數(shù)據(jù)和 Iceberg table 共享數(shù)據(jù)源的方法來適配不同的應(yīng)用場景。

嘉賓簡介：

孫偉，Dell 科技集團，高級軟件研發(fā)經(jīng)理，2014年加入 Dell 科技集團，深入?yún)⑴c Atmos 到 ECS 兩代對象存儲產(chǎn)品的設(shè)計和研發(fā)，有豐富的分布式系統(tǒng)和對象存儲架構(gòu)設(shè)計經(jīng)驗。現(xiàn)致力于將對象存儲和開源大數(shù)據(jù)平臺深度結(jié)合，幫助客戶搭建完整數(shù)據(jù)湖方案。

《百億級實時數(shù)據(jù)入湖實戰(zhàn)》

陳俊杰 | 騰訊 數(shù)據(jù)湖研發(fā)高級工程師

演講簡介：

你是否有過流批技術(shù)棧不統(tǒng)一的抓狂？你是否有過流批數(shù)據(jù)對不上的煩惱？你是否有過，海量數(shù)據(jù)更新時效性跟不上的無奈？

騰訊應(yīng)用業(yè)界最新技術(shù) Flink + Iceberg 技術(shù)幫助多個業(yè)務(wù)方實現(xiàn)了業(yè)務(wù)數(shù)據(jù)實時入倉入湖，端到端數(shù)據(jù)可見性提高到秒級。本次分享將介紹騰訊如何將 Flink + Iceberg 技術(shù)應(yīng)用到多個百億級數(shù)據(jù)入湖任務(wù)，入湖過程中遇到的挑戰(zhàn)，入湖數(shù)據(jù)如何進(jìn)行優(yōu)化保證分析引擎的高效查詢。

嘉賓簡介：

陳俊杰，騰訊數(shù)據(jù)湖研發(fā)高級工程師，多年大數(shù)據(jù)工作經(jīng)驗，開源大數(shù)據(jù)組件 Spark、 Iceberg、Parquet 等貢獻(xiàn)者。

《Flink 和 Iceberg 如何解決數(shù)據(jù)入湖面臨的挑戰(zhàn)》

胡爭 | Apache Iceberg Committer，阿里巴巴技術(shù)專家

演講簡介：

我們經(jīng)常會把來源不同的數(shù)據(jù)定期或?qū)崟r地同步到數(shù)倉/數(shù)據(jù)湖中，其中有一些令人頭痛的問題：

任務(wù)同步一半數(shù)據(jù)中斷，導(dǎo)致原有的數(shù)據(jù)湖報表不準(zhǔn)確，這時怎么辦？
持續(xù)的數(shù)據(jù)導(dǎo)入后，業(yè)務(wù)方發(fā)現(xiàn)作業(yè)越跑越慢？
老板說：怎么把 MySQL 的數(shù)據(jù)報表做的更實時一些，比如分鐘級別？
數(shù)據(jù)同步作業(yè)跑著跑著突然中斷，原來是上游改了 schema ？
其他問題

本次分享我們將借助 Flink 和 Iceberg 來嘗試解決上述數(shù)據(jù)入湖的相關(guān)挑戰(zhàn)，幫助業(yè)務(wù)同學(xué)更加高效地聚焦在自身的業(yè)務(wù)挑戰(zhàn)上。

嘉賓簡介：

胡爭（子毅），目前主要負(fù)責(zé) Apache Flink 數(shù)據(jù)湖方案的設(shè)計和研發(fā)工作，是 Apache Iceberg 及 Apache Flink 項目的長期活躍貢獻(xiàn)者。同時也是 Apache HBase PMC 成員，合著有《HBase 原理與實踐》。

活動議程及報名

■ 活動議程

■ 活動詳情

時間：4月17日 13:00-17:30
地點：上海市長寧區(qū)上海金鐘路968號凌空SOHO 攜程12號樓11層
直播觀看：https://developer.aliyun.com/live/246619

原文鏈接：https://developer.aliyun.com/article/783290?

版權(quán)聲明：本文內(nèi)容由阿里云實名注冊用戶自發(fā)貢獻(xiàn)，版權(quán)歸原作者所有，阿里云開發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫侵權(quán)投訴表單進(jìn)行舉報，一經(jīng)查實，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的Apache Flink Meetup · 上海站，超强数据湖干货等你！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。