目錄

案例一 基于時間的滾動和滑動窗口

需求

代碼實現

---

案例一 基于時間的滾動和滑動窗口

需求

nc -lk 9999

有如下數據表示:

信號燈編號和通過該信號燈的車的數量

9,3

9,2

9,7

4,9

2,6

1,5

2,3

5,7

5,4

需求1:每5秒鐘統計一次，最近5秒鐘內，各個路口通過紅綠燈汽車的數量--基于時間的滾動窗口

需求2:每5秒鐘統計一次，最近10秒鐘內，各個路口通過紅綠燈汽車的數量--基于時間的滑動窗口

代碼實現

package cn.it.window;import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.assigners.SlidingProcessingTimeWindows;
import org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;/*** Author lanson* Desc* nc -lk 9999* 有如下數據表示:* 信號燈編號和通過該信號燈的車的數量
9,3
9,2
9,7
4,9
2,6
1,5
2,3
5,7
5,4* 需求1:每5秒鐘統計一次，最近5秒鐘內，各個路口通過紅綠燈汽車的數量--基于時間的滾動窗口* 需求2:每5秒鐘統計一次，最近10秒鐘內，各個路口通過紅綠燈汽車的數量--基于時間的滑動窗口*/
public class WindowDemo01_TimeWindow {public static void main(String[] args) throws Exception {//1.envStreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//2.SourceDataStreamSource<String> socketDS = env.socketTextStream("node1", 9999);//3.Transformation//將9,3轉為CartInfo(9,3)SingleOutputStreamOperator<CartInfo> cartInfoDS = socketDS.map(new MapFunction<String, CartInfo>() {@Overridepublic CartInfo map(String value) throws Exception {String[] arr = value.split(",");return new CartInfo(arr[0], Integer.parseInt(arr[1]));}});//分組//KeyedStream<CartInfo, Tuple> keyedDS = cartInfoDS.keyBy("sensorId");// * 需求1:每5秒鐘統計一次，最近5秒鐘內，各個路口/信號燈通過紅綠燈汽車的數量--基于時間的滾動窗口//timeWindow(Time size窗口大小, Time slide滑動間隔)SingleOutputStreamOperator<CartInfo> result1 = cartInfoDS.keyBy(CartInfo::getSensorId)//.timeWindow(Time.seconds(5))//當size==slide,可以只寫一個//.timeWindow(Time.seconds(5), Time.seconds(5)).window(TumblingProcessingTimeWindows.of(Time.seconds(5))).sum("count");// * 需求2:每5秒鐘統計一次，最近10秒鐘內，各個路口/信號燈通過紅綠燈汽車的數量--基于時間的滑動窗口SingleOutputStreamOperator<CartInfo> result2 = cartInfoDS.keyBy(CartInfo::getSensorId)//.timeWindow(Time.seconds(10), Time.seconds(5)).window(SlidingProcessingTimeWindows.of(Time.seconds(10), Time.seconds(5))).sum("count");//4.Sink
/*
1,5
2,5
3,5
4,5
*///result1.print();result2.print();//5.executeenv.execute();}@Data@AllArgsConstructor@NoArgsConstructorpublic static class CartInfo {private String sensorId;//信號燈idprivate Integer count;//通過該信號燈的車的數量}
}

總結

以上是生活随笔為你收集整理的2021年大数据Flink（十九）：案例一 基于时间的滚动和滑动窗口的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。