flink on yarn包括 yarn session以及per job兩種方式.

那么生產環境中到底采用哪種呢?

下面是社區群中的討論:

?

所以on yarn模式在生產環境中我們使用per job

?

根據[1],

standalone模式也沒法用，我看了下我的jps,是這樣的：

643545 DataNode
644973 QuorumPeerMain
643773 SecondaryNameNode
643372 NameNode
644348 NodeManager
587823 Launcher
644094 ResourceManager
645651 StandaloneSessionClusterEntrypoint
645925 TaskManagerRunner
649188 Jps
308458 KotlinCompileDaemon
292107 Main
?

根據[2]

概念名稱	對應的硬件資源/系統資源
Task Manager	多個CPU Core
Task Slot	一個CPU core
Task Slot	多線程共享

?

?

也就是說standalone也是Session模式的，不可用，job之間的隔離性不好．

所以生產模式能用的也就只有yarn per-job方式．

Reference:

[1]Flink SQL CDC 上線！我們總結了 13 條生產實踐經驗

[2]flink隨手筆記之Slot分配與共享

?

總結

以上是生活随笔為你收集整理的生产环境中on yarn模式是否采用yarn session的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。