目錄

案例二 基于數量的滾動和滑動窗口

需求

代碼實現

---

案例二 基于數量的滾動和滑動窗口

需求

需求1:統計在最近5條消息中,各自路口通過的汽車數量,相同的key每出現5次進行統計--基于數量的滾動窗口

需求2:統計在最近5條消息中,各自路口通過的汽車數量,相同的key每出現3次進行統計--基于數量的滑動窗口

代碼實現

package cn.it.window;import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;/*** Author lanosn* Desc* nc -lk 9999* 有如下數據表示:* 信號燈編號和通過該信號燈的車的數量
9,3
9,2
9,7
4,9
2,6
1,5
2,3
5,7
5,4* 需求1:統計在最近5條消息中,各自路口通過的汽車數量,相同的key每出現5次進行統計--基于數量的滾動窗口* 需求2:統計在最近5條消息中,各自路口通過的汽車數量,相同的key每出現3次進行統計--基于數量的滑動窗口*/
public class WindowDemo02_CountWindow {public static void main(String[] args) throws Exception {//1.envStreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//2.SourceDataStreamSource<String> socketDS = env.socketTextStream("node1", 9999);//3.Transformation//將9,3轉為CartInfo(9,3)SingleOutputStreamOperator<CartInfo> cartInfoDS = socketDS.map(new MapFunction<String, CartInfo>() {@Overridepublic CartInfo map(String value) throws Exception {String[] arr = value.split(",");return new CartInfo(arr[0], Integer.parseInt(arr[1]));}});//分組//KeyedStream<CartInfo, Tuple> keyedDS = cartInfoDS.keyBy("sensorId");// * 需求1:統計在最近5條消息中,各自路口通過的汽車數量,相同的key每出現5次進行統計--基于數量的滾動窗口//countWindow(long size, long slide)SingleOutputStreamOperator<CartInfo> result1 = cartInfoDS.keyBy(CartInfo::getSensorId)//.countWindow(5L, 5L).countWindow( 5L).sum("count");// * 需求2:統計在最近5條消息中,各自路口通過的汽車數量,相同的key每出現3次進行統計--基于數量的滑動窗口//countWindow(long size, long slide)SingleOutputStreamOperator<CartInfo> result2 = cartInfoDS.keyBy(CartInfo::getSensorId).countWindow(5L, 3L).sum("count");//4.Sink//result1.print();/*
1,1
1,1
1,1
1,1
2,1
1,1*/result2.print();/*
1,1
1,1
2,1
1,1
2,1
3,1
4,1*///5.executeenv.execute();}@Data@AllArgsConstructor@NoArgsConstructorpublic static class CartInfo {private String sensorId;//信號燈idprivate Integer count;//通過該信號燈的車的數量}
}

總結

以上是生活随笔為你收集整理的2021年大数据Flink（二十）：案例二 基于数量的滚动和滑动窗口的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。