當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

flink中写入行存储、列存储时设定checkpoint多久时间间隔另存一个新文件

發布時間：2023/12/31 编程问答 40 豆豆

生活随笔收集整理的這篇文章主要介紹了 flink中写入行存储、列存储时设定checkpoint多久时间间隔另存一个新文件小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

這個博文關注:

設定多少時間，把checkpoint另存新文件

設定時間間隔

行存儲(txt)

? ? ? ?DefaultRollingPolicy.builder()
? ? ? ? ? ? ? ?.withRolloverInterval(1000L)
? ? ? ? ? ? ? ?.withInactivityInterval(1000L)
? ? ? ? ? ? ? ?.withMaxPartSize(1024 * 1024 * 1024)
? ? ? ? ? ? ? ?.build())

列存儲(orc、parquet)

滾動策略中無法設定多少時間，把checkpoint另存新文件，只能是默認時間間隔。(IDE中也包含設定間隔，但是運行無法通過)

withRollingPolicy(OnCheckpointRollingPolicy.build())?
? ? ? ? ? ? ? ? .withOutputFileConfig(config)//orc,加了文件名前后綴,
? ? ? ? ? ? ? ? .build();

總結

以上是生活随笔為你收集整理的flink中写入行存储、列存储时设定checkpoint多久时间间隔另存一个新文件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： flink的分桶策略BucketAssi
下一篇： rooibos茶中单宁酸研究