Flink BaseTransform

Map

FlatMap

Filter

Map

特點：一對一，可以改變數(shù)據(jù)類型
一對一：一個數(shù)據(jù)只返回一個數(shù)據(jù) eg:a->b 雖然數(shù)據(jù)不同了但是還是一個
可以改變數(shù)據(jù)類型：通過map操作可以返回任意一個已經(jīng)存在的類型
eg:string=>UDF自定義類型

public static void main(String[] args) throws Exception {StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);//測試可以直接使用絕對路徑String path = "hello.txt";DataStream<String> inputDataStream = env.readTextFile(path);//map算子需要傳遞一個MapFunction,可以使用匿名類，自定義類，或者lambda表達式，這里使用匿名類的方法，相比之下比較適中。DataStream<Integer> outputDataStream = inputDataStream.map(new MapFunction<String, Integer>() {@Overridepublic Integer map(String s) throws Exception {return s.length();}});outputDataStream.print("Map");env.execute();}

FlatMap

特點：一對多，可以改變數(shù)據(jù)類型
一對多：向下兼容一對一
改變數(shù)據(jù)類型：略

public static void main(String[] args) throws Exception {StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);//測試可以直接使用絕對路徑String path = "hello.txt";DataStream<String> inputDataStream = env.readTextFile(path);DataStream<String> outputDataStream = inputDataStream.flatMap(new FlatMapFunction<String, String>() {@Overridepublic void flatMap(String value, Collector<String> out) throws Exception {String[] split = value.split(",");//將一個String拆分為多個String返回for (String s : split) {out.collect(s);}}});outputDataStream.print("FlatMap");env.execute();}

Filter

特點：不能改變數(shù)據(jù)類型即來什么數(shù)據(jù)類型返回就是什么數(shù)據(jù)類型

public static void main(String[] args) throws Exception {StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);//測試可以直接使用絕對路徑String path = "hello.txt";DataStream<String> inputDataStream = env.readTextFile(path);DataStream<String> outputDataStream = inputDataStream.filter(new FilterFunction<String>() {@Overridepublic boolean filter(String value) throws Exception {return value.startsWith("'sensor_1'");}});outputDataStream.print("Fliter");env.execute("");}

總結

以上是生活随笔為你收集整理的Flink专题-BaseTransform的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。