倒計(jì)時(shí) 5 天！4月25-26日，全球首個(gè) Apache 頂級(jí)項(xiàng)目在線會(huì)議 Flink Forward 精華版即將重磅開啟。

Flink Forward 全球在線會(huì)議精華版均為中文直播，核心內(nèi)容分為 Keynote 與社區(qū)投票的最感興趣的 talk 兩部分，由 Apache Flink 核心貢獻(xiàn)者們對(duì)原版英文 talk 進(jìn)行翻譯及解說(shuō)，您可直接免費(fèi)在線觀看。本文將詳細(xì)介紹4月25日下午半場(chǎng)直播議程。

4/25 Flink Forward 直播下午場(chǎng)亮點(diǎn)

Keynote：您可了解 Cloudera 集成 Flink 的最新進(jìn)展。

實(shí)踐系列：將分享 Uber Flink CEP 的應(yīng)用實(shí)踐、Netflix 的自動(dòng)擴(kuò)縮容、滴滴 StreamSQL 的大規(guī)模應(yīng)用、最差實(shí)踐的反面教材有哪些。

社區(qū)生態(tài)：介紹 PyFlink + Zeppelin 的上手應(yīng)用、如何使用 AI Flow 與 Flink 一起定義一個(gè)生產(chǎn)級(jí) AI 工作流。

Flink SQL：將進(jìn)行 Flink SQL 的深度解析及 2020 的最新動(dòng)向分享。

Talk 1

圓桌 | Keynote: Apache Flink - Completing Cloudera’s End to End Streaming Platform

今年 1 月，Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作為其流計(jì)算產(chǎn)品，Apache Flink PMC Chair Stephan 也回應(yīng)：“此舉意義重大。”這意味著所有 CDH 發(fā)行版覆蓋的全球企業(yè)用戶都將能夠使用 Flink 進(jìn)行流數(shù)據(jù)處理。

如今，集成 Flink 的 Cloudera Data Platform 有何表現(xiàn)，本次 Flink Forward，來(lái)自 Cloudera 的技術(shù)專家們將分享其端到端的流處理平臺(tái)詳細(xì)功能及技術(shù)細(xì)節(jié)。

分享嘉賓：

• Marton Balassi，Apache Flink PMC，流 API 的第一批貢獻(xiàn)者之一。
• Joe Witt，Cloudera 工程部副總裁，專注于 Cloudera Data Flow（CDF）產(chǎn)品。

解說(shuō)嘉賓：

楊克特（魯尼），Apache Member，Apache Flink PMC，阿里巴巴高級(jí)技術(shù)專家。

■ Talk 2

圓桌 | Flink SQL 之 2020：舍我其誰(shuí)

四年前，Apache Flink 社區(qū)開始添加 SQL 支持，以簡(jiǎn)化和統(tǒng)一靜態(tài)和流式數(shù)據(jù)的處理。如今，Flink 在阿里巴巴、華為、Lyft、Uber、Yelp 和其他許多公司運(yùn)行業(yè)務(wù)關(guān)鍵的批處理和流式 SQL 查詢。盡管社區(qū)在過去幾年取得了重大進(jìn)展，但發(fā)展藍(lán)圖上仍有更遠(yuǎn)大的目標(biāo)，我們也在加快開發(fā)進(jìn)度。

在過去的幾個(gè)月里，社區(qū)添加了一些重要的改進(jìn)和擴(kuò)展，包括對(duì) DDL 的支持、類型系統(tǒng)和 Catalog 接口的重構(gòu)，以及 Apache Hive 的集成。出于跟進(jìn) Flink SQL 及其生態(tài)系統(tǒng)所做的所有開發(fā)工作的考慮，本次會(huì)議將以一個(gè)系統(tǒng)的完整的示例重點(diǎn)介紹 2020 年 Flink SQL。基于實(shí)際的用例場(chǎng)景，我們將展示：

• 如何定義由各種存儲(chǔ)系統(tǒng)支持的表
• 如何使用流式 SQL 查詢解決常見問題
• 演示 Flink 與 Hive 的集成
• 演示如何定義和使用用戶定義的函數(shù)

并且，我們將分享即將推出的功能和未來(lái)展望。

分享嘉賓：

• Fabian Hueske，Apache Flink PMC。
• Timo Walther，Apache Flink PMC。

解說(shuō)嘉賓：

伍翀（云邪），Apache Flink PMC，阿里巴巴技術(shù)專家。

■ Talk 3

圓桌 | Apache Flink 誤用之痛

分布式流處理正從一種在大數(shù)據(jù)邊緣的技術(shù)演變?yōu)橐环N關(guān)鍵的、賦能企業(yè)為其客戶提供高可擴(kuò)展的實(shí)時(shí)服務(wù)的技術(shù)。Apache Flink 商業(yè)母公司 Ververica 以及 Flink 社區(qū)中的其他用戶都見證了這一發(fā)展。在與我們的用戶以及更廣泛的社區(qū)合作中，我們看到了一些比較成功的案例，同時(shí)也看到了一些問題。

在本次演講中，我將分享一些采用分布式流處理的趣聞?shì)W事和經(jīng)驗(yàn)教訓(xùn)，包括 Apache Flink 特有的以及跨框架的。通過本次分享，您將了解如何消除故障的發(fā)生，如何做到無(wú)憂無(wú)慮的看大屏。

分享嘉賓：Konstantin Knauf，Ververica Platform 產(chǎn)品負(fù)責(zé)人。

解說(shuō)嘉賓：孫金城（金竹），Apache Member，Apache Flink PMC，阿里巴巴高級(jí)技術(shù)專家。

■ Talk 4

圓桌 | Netflix 的 Flink 自動(dòng)擴(kuò)縮容

Keystone 數(shù)據(jù)管道管理數(shù)千個(gè) Flink 管道，工作負(fù)載可變。這些管道是簡(jiǎn)單的數(shù)據(jù)路由，從 Kafka 讀取并寫入三個(gè)接收器之一。為了減少操作開銷，我們?yōu)檫@些路由程序?qū)崿F(xiàn)了自動(dòng)擴(kuò)縮容。

自動(dòng)擴(kuò)縮容將我們的資源使用量減少了25%-45%（因地區(qū)和時(shí)間而異），極大減輕了負(fù)擔(dān)。本次 talk 將深入探討實(shí)現(xiàn)大規(guī)模簡(jiǎn)單管道自動(dòng)擴(kuò)縮容的數(shù)學(xué)、算法和基礎(chǔ)設(shè)施細(xì)節(jié)并討論自動(dòng)擴(kuò)縮容復(fù)雜管道的未來(lái)工作。

分享嘉賓：Timothy Farkas，Netflix 軟件工程師。

解說(shuō)嘉賓：呂文龍（龍三），阿里巴巴技術(shù)專家。

■ Talk 5

圓桌 | Uber ：使用 Flink CEP 進(jìn)行地理情形檢測(cè)的實(shí)踐

Uber 在復(fù)雜的物理世界中運(yùn)作，其提供可靠服務(wù)的挑戰(zhàn)之一是實(shí)時(shí)檢測(cè)地理定位和動(dòng)態(tài)的場(chǎng)景，例如空間熱點(diǎn)，需求/供應(yīng)不平衡的街道等。由于 Uber 的全球規(guī)模龐大，街道和交通擁堵，因此這個(gè)問題很難解決。

為了解決這個(gè)問題，Uber 工程師建立了由 Apache Flink 和 CEP 庫(kù)提供支持的地理空間狀況檢測(cè)平臺(tái)。在本次演講中，Uber 的工程師將介紹如何利用 Apache Flink，并通過 CEP 模式匹配來(lái)推導(dǎo)地理空間語(yǔ)義以及在平臺(tái)搭建和采用的各種技術(shù)所涉及的挑戰(zhàn)。

分享嘉賓：Teng (Niel) Hu，Uber 軟件工程師。

解說(shuō)嘉賓：付典，Apache Flink Committer，阿里巴巴技術(shù)專家。

■ Talk 6

演講 | A deep dive into Flink SQL

在過去的兩個(gè)大版本中（1.9 和 1.10），Apache Flink 社區(qū)花了很大的精力去改造架構(gòu)，讓架構(gòu)更加地流批統(tǒng)一。一個(gè)例子就是 Flink SQL 提供了在一套 API 下，多 SQL planner 的支持。本演講將首先討論這些舉動(dòng)背后的動(dòng)機(jī)，然后會(huì)深入 Flink SQL 介紹其內(nèi)部的一些運(yùn)行機(jī)制。

本次演講會(huì)介紹流批統(tǒng)一的架構(gòu)，以及 Flink 如何將查詢翻譯成關(guān)系表達(dá)式，并利用 Calcite 優(yōu)化他們，繼而生成高效的運(yùn)行時(shí)代碼。除此之外，還會(huì)詳細(xì)地介紹查詢的生命周期，常見的一些優(yōu)化是如何工作的，Flink 如何利用二進(jìn)制數(shù)據(jù)格式作為基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)，以及某些特定算子是如何工作的。這將給聽眾帶來(lái)對(duì) Flink SQL 內(nèi)部機(jī)制更好的理解。

分享嘉賓：

• 楊克特（魯尼），Apache Member，Apache Flink PMC，阿里巴巴高級(jí)技術(shù)專家。
• 伍翀（云邪）Apache Flink PMC，阿里巴巴技術(shù)專家。

■ Talk 7

演講 | Flink's application at Didi

滴滴有著豐富的實(shí)時(shí)計(jì)算場(chǎng)景，Flink 已經(jīng)廣泛應(yīng)用于實(shí)時(shí)監(jiān)控、數(shù)據(jù)通道、特征提取、實(shí)時(shí)數(shù)倉(cāng)、在線業(yè)務(wù)等領(lǐng)域，我們還基于 Flink Table API 打造了 StreamSQL 產(chǎn)品，結(jié)合一站式開發(fā)平臺(tái)，降低了用戶使用成本，目前 StreamSQL 覆蓋率已超過 80%。目前，滴滴的實(shí)時(shí)計(jì)算任務(wù)已達(dá) 7000+，每日處理數(shù)據(jù)量超過 2 萬(wàn)億。

分享嘉賓：薛康，現(xiàn)任滴滴技術(shù)專家，實(shí)時(shí)計(jì)算負(fù)責(zé)人。畢業(yè)于浙江大學(xué)，曾任百度高級(jí)研發(fā)工程師，對(duì)大數(shù)據(jù)生態(tài)建設(shè)有豐富經(jīng)驗(yàn)。

■ Talk 8

演講 | 終于等到你：PyFlink + Zeppelin

Flink 在其統(tǒng)一批處理和流處理的核心引擎方面取得了巨大的進(jìn)展，但是用戶入門的門檻仍然很高，比如對(duì)于只熟悉 Python 和 SQL 的數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家，入門尤為困難。多年來(lái)，用戶要求在 Apache Flink 中提供內(nèi)置且完善的 Python 支持，以便能夠使用他們熟悉的編程語(yǔ)言的同時(shí)利用 Flink 的獨(dú)特功能。

Apache Flink 的 1.9 版本添加了 Python Table API（也稱為 PyFlink）；并且在 1.10 中增加了對(duì)原生 Python UDF（基于 Apache Beam 的可移植性框架）的支持。后續(xù)，我們還會(huì)不斷完善 PyFlink。下一個(gè)版本里我們將會(huì)支持定義 Python 的機(jī)器學(xué)習(xí)處理流程，它將使用戶能夠完全在 PyFlink 中實(shí)現(xiàn)復(fù)雜的機(jī)器學(xué)習(xí)應(yīng)用程序。除此之外，我們還集成了 Flink 和 Zeppelin notebook，并且重新設(shè)計(jì)了 Zeppelin 中過時(shí)的 Flink 解釋器，使其適合以下 3 種主要的 Flink 場(chǎng)景：

通過 Flink 批處理 SQL+UDF+Zeppelin 的內(nèi)置可視化功能進(jìn)行批處理 ETL 和探索性數(shù)據(jù)分析；
通過 Flink 流處理 SQL+UDF+Zeppelin 的內(nèi)置可視化功能進(jìn)行流式 ETL 和流式數(shù)據(jù)分析；
通過 PyFlink+Alink 編寫機(jī)器學(xué)習(xí)處理流程。

分享嘉賓：

• 孫金城（金竹），Apache Member，Apache Flink PMC，阿里巴巴高級(jí)技術(shù)專家。
• 章劍鋒（簡(jiǎn)鋒），Apache Member，Apache Zeppelin PMC，阿里巴巴高級(jí)技術(shù)專家。

■ Talk 9

演講 | Flink + AI Flow：讓 AI 易如反掌

目前，已經(jīng)有很多項(xiàng)目幫助用戶構(gòu)建他們的人工智能平臺(tái)，如 MLFlow、TFX、Metaflow、Sagemaker 等。這些項(xiàng)目大多集中在離線訓(xùn)練和在線推理的場(chǎng)景上，而且其中一些僅在特定的引擎和平臺(tái)上可用。

在本次演講中，我們將介紹一個(gè)名為 AI Flow 的新項(xiàng)目，該項(xiàng)目既解決了在線和離線訓(xùn)練過程，又不強(qiáng)依賴引擎和平臺(tái)，因此用戶可以在高度混合的環(huán)境中輕松地定義一個(gè) AI 工作流。另一方面，作為一個(gè)統(tǒng)一的引擎，Flink 是少數(shù)能夠?qū)崿F(xiàn) AI Flow 中定義的所有語(yǔ)義的引擎之一。我們將演示用戶如何使用 AI Flow 與 Flink 一起定義一個(gè)生產(chǎn)級(jí) AI 工作流。

分享嘉賓：秦江杰，Apache Flink PMC，阿里巴巴高級(jí)技術(shù)專家。

Flink Forward 全球在線會(huì)議中文精華版

最佳觀看方式

本次直播將在 Flink Forward 中文版大會(huì)官網(wǎng)進(jìn)行，點(diǎn)擊「閱讀原文」或復(fù)制下方官網(wǎng)鏈接了解更多詳情，注冊(cè)登陸后即可預(yù)約直播觀看。屆時(shí)，社區(qū)將提前以短信通知的形式提醒大家參與。

大會(huì)官網(wǎng)直播預(yù)約：
https://developer.aliyun.com/topic/ffsf2020

預(yù)約成功后顯示如下：

完整版議程

Flink Forward 全球直播精華版共分為 Keynote 重點(diǎn)議題、Flink 最佳實(shí)踐、深度技術(shù)應(yīng)用、社區(qū)生態(tài)四部分，形式上由北京、上海、杭州三地輪流直播，在這里您將通過多樣化場(chǎng)景的實(shí)踐案例了解 Flink 核心優(yōu)勢(shì)及未來(lái)發(fā)展。

■ 直播時(shí)間：4月25-26日

■ 分享嘉賓：

• Apache Member、Flink PMC
• Apache Flink 核心貢獻(xiàn)者
• 大廠一線技術(shù)專家

■ 詳細(xì)議程：

（最終議題以實(shí)際為準(zhǔn)）

4月25-26日，鎖定 Flink Forward 全球直播中文精華版！了解更多大會(huì)詳情，可釘釘掃描下方二維碼進(jìn)群咨詢～

如果您對(duì)大會(huì)實(shí)時(shí)英文直播感興趣，點(diǎn)擊下方鏈接可了解 Flink Forward Virtual Conference 2020 大會(huì)完整版議程詳情及注冊(cè)預(yù)約！

https://www.flink-forward.org/sf-2020/conference-program

總結(jié)

以上是生活随笔為你收集整理的Flink 实战：如何解决应用中的技术难题？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。