簡(jiǎn)介： 歡迎釘釘掃描文章底部二維碼進(jìn)入 EMR Studio 用戶交流群 直接和講師交流討論~ 點(diǎn)擊以下鏈接直接觀看直播回放：https://developer.aliyun.com/live/247106

開源大數(shù)據(jù)社區(qū) & 阿里云 EMR 系列直播 第十二期

主題：Flink on Zeppelin 流計(jì)算處理最佳實(shí)踐

講師：簡(jiǎn)鋒，阿里云 EMR 數(shù)據(jù)開發(fā)平臺(tái) 負(fù)責(zé)人

內(nèi)容框架：

• 大數(shù)據(jù)概覽
• Flink 學(xué)習(xí)框架
• EMR Studio 上的流計(jì)算最佳實(shí)踐
• 演示

直播回放：掃描文章底部二維碼加入釘群觀看回放，或進(jìn)入鏈接https://developer.aliyun.com/live/247106

一、大數(shù)據(jù)概覽

• 大數(shù)據(jù)處理 ETL (Data ?→ Data)
• 大數(shù)據(jù)分析 BI ? (Data ?→ ?Dashboard)
• 機(jī)器學(xué)習(xí) ? ?AI ? (Data ?→ ?Model)

二、Flink 學(xué)習(xí)框架

Flink 要點(diǎn)

• Stateful
• Time
• Flink Architecture
• Flink API
• Flink Configuration
• Flink Log

Stateful:

• Why

?? 流計(jì)算的及時(shí)性

?? 流計(jì)算的 unbounded

• When

?? Window

?? Join

?? Pattern

• How

?? statebackend

Time

• Event time
• Processing time
• Watermark

Flink Architecture

Flink API

Flink Configuration

• Cluster Configuration
• Job Configuration
• Statebackend
• Resource Manager
• SQL/Python

參考文檔：https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/

Flink Log

三、EMR Studio 上的流計(jì)算最佳實(shí)踐

EMR Studio 特性：

• 兼容開源組件
  EMR Studio 在開源軟件 Apache Zeppelin，Jupyter Notebook, Apache Airflow 的基礎(chǔ)上優(yōu)化了做了優(yōu)化和增強(qiáng)。

• 支持連接多個(gè)集群
• 適配多個(gè)計(jì)算引擎
• 交互式開發(fā) + 作業(yè)調(diào)度無縫銜接
• 適用多種大數(shù)據(jù)應(yīng)用場(chǎng)景
• 計(jì)算存儲(chǔ)分離

Flink Clients

Flink on Zeppelin (Phase 1) - Interactive Flink Client

Flink on Zeppelin (Phase 2) - Interactive JobManager

Flinkon Zeppelin 主要 Feature

四、演示

具體產(chǎn)品介紹和演示，可以點(diǎn)擊以下鏈接直接觀看回放：

https://developer.aliyun.com/live/247106

原文鏈接

本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的Flink on Zeppelin 流计算处理最佳实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。