隨著大數(shù)據(jù)技術(shù)在各行各業(yè)的廣泛應(yīng)用，要求能對海量數(shù)據(jù)進(jìn)行實時處理的需求越來越多，同時數(shù)據(jù)處理的業(yè)務(wù)邏輯也越來越復(fù)雜，傳統(tǒng)的批處理方式和早期的流式處理框架也越來越難以在延遲性、吞吐量、容錯能力以及使用便捷性等方面滿足業(yè)務(wù)日益苛刻的要求。

在這種形勢下，新型流式處理框架Flink通過創(chuàng)造性地把現(xiàn)代大規(guī)模并行處理技術(shù)應(yīng)用到流式處理中來，極大地改善了以前的流式處理框架所存在的問題。

?

一句話：flink是etl的工具。

flink的層次結(jié)構(gòu):

其中，

windows下flink示例程序的執(zhí)行?簡單介紹了一下flink在windows下如何通過flink-webui運(yùn)行已經(jīng)打包完成的示例程序(jar)

從flink-example分析flink組件(1)WordCount batch實戰(zhàn)及源碼分析講到DataSet的轉(zhuǎn)換

從flink-example分析flink組件(2)WordCount batch實戰(zhàn)及源碼分析----flink如何在本地執(zhí)行的？flink batch批處理如何在本地執(zhí)行的

從flink-example分析flink組件(3)WordCount 流式實戰(zhàn)及源碼分析?flink stream流式處理如何在本地執(zhí)行的？

使用flink Table &Sql api來構(gòu)建批量和流式應(yīng)用(1)Table的基本概念介紹了Table的基本概念及使用方法

使用flink Table &Sql api來構(gòu)建批量和流式應(yīng)用(2)Table API概述介紹了如何使用Table

使用flink Table &Sql api來構(gòu)建批量和流式應(yīng)用(3)Flink Sql 使用?介紹了如何使用sql

flink dataset api使用及原理?介紹了DataSet Api?

flink DataStream API使用及原理介紹了DataStream?Api?

flink中的時間戳如何使用？---Watermark使用及原理?介紹了底層實現(xiàn)的基礎(chǔ)Watermark

flink window實例分析?介紹了window的概念及使用原理

Flink中的狀態(tài)與容錯?介紹了State的概念及checkpoint，savepoint的容錯機(jī)制

flink的特征

最后，給出官網(wǎng)給出的特征作為結(jié)束：

1、一切皆為流（All streaming use cases ）

• 事件驅(qū)動應(yīng)用(Event-driven Applications)

? ? ? ? ? ? ??

　　

• 流式 & 批量分析(Stream & Batch Analytics)

　　　　

?

　　

• ?數(shù)據(jù)管道&ETL(Data Pipelines & ETL)

?　　　　

?

2、正確性保證(Guaranteed correctness)

• 唯一狀態(tài)一致性(Exactly-once state consistency)
• 事件-事件處理(Event-time processing)
• 高超的最近數(shù)據(jù)處理(Sophisticated late data handling)

3、多層api(Layered APIs)? ?

• 基于流式和批量數(shù)據(jù)處理的SQL(SQL on Stream & Batch Data)
• 流水?dāng)?shù)據(jù)API & 數(shù)據(jù)集API(DataStream API & DataSet API)
• 處理函數(shù) (時間 & 狀態(tài))(ProcessFunction (Time & State))

? ? ? ? ? ?

4、易用性

• 部署靈活(Flexible deployment)
• 高可用安裝(High-availability setup）
• 保存點(diǎn)(Savepoints)

5、可擴(kuò)展性

• 可擴(kuò)展架構(gòu)(Scale-out architecture)
• 大量狀態(tài)的支持(Support for very large state)
• 增量檢查點(diǎn)(Incremental checkpointing)

6、高性能

• 低延遲(Low latency)
• 高吞吐量(High throughput)
• 內(nèi)存計算(In-Memory computing)

flink架構(gòu)?

1、層級結(jié)構(gòu)

?

2.工作架構(gòu)圖

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/davidwang456/p/11256748.html

總結(jié)

以上是生活随笔為你收集整理的flink入门实战总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。