日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Flink 异步IO优化任务

發(fā)布時間:2023/12/10 编程问答 27 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Flink 异步IO优化任务 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1.通過監(jiān)控,發(fā)現操作耗時,hbase get 操作耗時在10-20ms,高的時候能達到40-50ms,低的時候10ms以內

?2.解決方案

采用flink 異步io 優(yōu)化代碼

final long timeout = 40000; AsyncFunction<String, String> function = new AlbumAsyncFunction(); DataStream<String> resultStream = AsyncDataStream.unorderedWait(sourceStream,function,timeout,TimeUnit.MILLISECONDS,10).filter(new FilterFunction<String>() {@Overridepublic boolean filter(String s) throws Exception {if (StringUtils.isNotBlank(s)) {return true;} else {return false;}} }).setParallelism(50);

(1)應用async I/O轉換,設置等待模式、超時時間、以及進行中的異步請求的最大數量

?(2)AsyncDataStream提供了兩種調用方法,分別是orderedWait和unorderedWait,這分別對應了有序和無序兩種輸出模式。

3.異步io 思路

具體內容參考:

Flink 異步IO實戰(zhàn) - 簡書 (jianshu.com)

Flink 源碼解析--Async IO的實現_METON的博客-CSDN博客

4.最后優(yōu)化結果

總結

以上是生活随笔為你收集整理的Flink 异步IO优化任务的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。