日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Flink web.upload.dir

發布時間:2023/12/29 编程问答 31 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Flink web.upload.dir 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

好像很少有人談論這個參數,基本被忽略了,這個參數是Flink少數不能設置為HDFS的參數,默認的web.upload.dir是在web.tmpdir目錄下。以下是官方給出的2個參數的含義:

web.tmpdir System.getProperty("java.io.tmpdir") Flink web directory which is used by the webmonitor. web.upload.dir (none) Directory for uploading the job jars. If not specified a dynamic directory will be used under the directory specified by JOB_MANAGER_WEB_TMPDIR_KEY.

放在tmp目錄先肯定是有問題,一旦機器重啟,可能所有上傳的包都丟失了。你可能會修改這個參數為一個永久目錄,即使如此還是有問題,今天就是談論這個問題。

web.upload.dir既然不是HDFS共享目錄,那就肯定是本地目錄了,這個本地目錄根據你的job manager是哪一臺機器,就上傳到哪一臺機器的web.upload.dir.?

按照上面的推測,一旦發生job manager切換,那之前你上傳的包,在新的job manager上是看不到的。這可不是我們想要看到的結果。如果你使用的是yarn-session.sh啟動模式,所有的node manager都有可能是job manager. 如果你用standalone HA同樣道理,一旦切換上傳的包就看不到了。

解決這個問題用NFS比較好,這樣所有的job maanager掛載這個目錄,不管你怎么切換,都能看到web.upload.dir里的包。

總結

以上是生活随笔為你收集整理的Flink web.upload.dir的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。