一、概述

上篇文章介紹了Window窗口機(jī)制的相關(guān)知識(shí)，這里我們介紹下Flink的另外一個(gè)核心概念“Event Time機(jī)制”，本篇文章只介紹相關(guān)概念不講實(shí)戰(zhàn)，實(shí)戰(zhàn)會(huì)結(jié)合Window窗口機(jī)制一起講解。

二、Flink中的三種時(shí)間機(jī)制

Flink在流處理程序中支持三種時(shí)間的概念，分別是EventTime、ProcessingTime、IngestionTime，Flink流式處理中，絕大部分的業(yè)務(wù)都會(huì)使用EventTime，一般只在EventTime無(wú)法使用時(shí)，考慮其他時(shí)間屬性下面分別介紹下。

1.EventTime 事件時(shí)間

EventTime是事件發(fā)生的時(shí)間，在進(jìn)行Flink流處理程序之前，這個(gè)時(shí)間就已經(jīng)能包含在了事件中，并且可以從每個(gè)記錄中提取事件時(shí)間戳。

在EventTime中，時(shí)間的進(jìn)展取決于數(shù)據(jù)，而不是任何墻上的時(shí)鐘。EventTime程序必須指定如何生成事件EventTime?Watermarks，這是EventTime進(jìn)展的信號(hào)機(jī)制。這種Watermarks機(jī)制將在下面的小節(jié)中進(jìn)行描述。

假設(shè)所有數(shù)據(jù)都已到達(dá)，事件時(shí)間操作將按照預(yù)期的方式運(yùn)行，即使在處理無(wú)序或延遲的事件或重新處理歷史數(shù)據(jù)時(shí)，也會(huì)產(chǎn)生正確和一致的結(jié)果。例如，每小時(shí)事件時(shí)間窗口將包含所有記錄，這些記錄攜帶屬于該小時(shí)的事件時(shí)間戳，而與它們到達(dá)的順序無(wú)關(guān)，也與它們被處理的時(shí)間無(wú)關(guān)。

2.ProcessingTime 處理時(shí)間

ProcessingTime是指執(zhí)行相應(yīng)操作的機(jī)器的系統(tǒng)時(shí)間，ProcessingTime是Flink默認(rèn)的時(shí)間概念，如需使用其他時(shí)間類型需要單獨(dú)設(shè)置。

當(dāng)流程序在處理時(shí)間上運(yùn)行時(shí)，所有基于時(shí)間的操作(如時(shí)間窗口)將使用運(yùn)行各個(gè)operator的機(jī)器的系統(tǒng)時(shí)鐘。每小時(shí)處理時(shí)間窗口將包括在系統(tǒng)時(shí)鐘指示完整小時(shí)之間到達(dá)特定operator的所有記錄。例如，如果一個(gè)應(yīng)用程序在上午9:15開始運(yùn)行，那么第一個(gè)每小時(shí)處理時(shí)間窗口將包括上午9:15到10:00之間處理的事件，下一個(gè)窗口將包括上午10:00到11:00之間處理的事件，依此類推。

3.IngestionTime?攝入時(shí)間

IngestionTime是事件進(jìn)入Flink的時(shí)間。在source operator中，每個(gè)記錄以時(shí)間戳的形式獲取源的當(dāng)前時(shí)間，基于時(shí)間的操作(如時(shí)間窗口)引用該時(shí)間戳。

IngestionTime概念上位于EventTime和ProcessingTime之間。與ProcessingTime相比，它稍微昂貴一些，但是提供了更可預(yù)測(cè)的結(jié)果。由于IngestionTime使用穩(wěn)定的時(shí)間戳(在源處分配一次)，對(duì)記錄的不同窗口操作將引用相同的時(shí)間戳，而在ProcessingTime中，每個(gè)窗口操作人員可以將記錄分配到不同的窗口(基于本地系統(tǒng)時(shí)鐘和任何傳輸延遲)。

與ProcessingTime相比，IngestionTime程序不能處理任何無(wú)序事件或延遲數(shù)據(jù)，但程序不必指定如何生成Watermarks，因?yàn)樵趦?nèi)部，它自動(dòng)進(jìn)行時(shí)間戳分配和自動(dòng)Watermarks生成。

下面是Flink官網(wǎng)中對(duì)于時(shí)間標(biāo)識(shí)的一張圖：

4.設(shè)置時(shí)間特性

通常，我們?cè)贔link初始化流式運(yùn)行環(huán)境時(shí)，就會(huì)設(shè)置流處理時(shí)間特性。這個(gè)設(shè)置很重要，它決定了數(shù)據(jù)流的行為方式。(例如：是否需要給事件分配時(shí)間戳)，以及窗口操作應(yīng)該使用什么樣的時(shí)間類型；代碼示例：

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//Flink默認(rèn)的是ProcessingTimeenv.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);// alternatively:// env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime);// env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

至此，Flink三種時(shí)間機(jī)制講解完畢，上面我們說了EventTime必須要指定如何生成事件時(shí)間Watermarks，下篇文章講解，感謝關(guān)注！！！

如果覺得我的文章能幫到您，請(qǐng)關(guān)注微信公眾號(hào)“大數(shù)據(jù)開發(fā)運(yùn)維架構(gòu)”，并轉(zhuǎn)發(fā)朋友圈，謝謝支持！！！

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的flink 三种时间机制_Flink1.10入门：时间机制简介的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。