當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

flink的web ui中五颜六色的方块是什么意思？

發布時間：2023/12/31 编程问答 37 豆豆

生活随笔收集整理的這篇文章主要介紹了 flink的web ui中五颜六色的方块是什么意思？小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

我們常常會看到這樣的界面

那么這里面的兩個方塊(也就是slot)的顏色，以及方塊中的兩個數字6到底是什么鬼？
這些方塊有個專門的叫法:slot
這些slot的顏色表述數據分區partition的key[1]
分區數量是根據輸入數據來定的，顏色不代表特別的含義，只是表示某個特定的partition的key

好了，那么這些方塊中的顏色是什么意思呢？

slot的顏色的含義在[4](我在[3]中提到了這個問題)

配置文件$FLINK_HOME/conf/flink-conf.yaml里面的是每個task manager可用的slot數量,是上限值。
web ui里面的是根據需要分配的slot。
一個task處理一個partition.
partition的key是顏色，也就是web ui上方塊的顏色。

方塊上的數字6，是串行執行的task數量(從輸入task一直到輸出task),6具體的含義如下:

看到右側的數字沒?

1+2+2+1=6

這個6就是前面一張插圖中slot中的數字的含義，表示整個流程從頭到尾總共有6個task。

###############################################################################3

另外，自己的一點感悟:

可以參考上圖spark來理解，
flink運行的某個時刻，task和partition也是一一對應的。

如果從整個處理過程來看，那task數量當然與partition數量不一致,前者是6/slot,后者是2.

Reference:

[1]Apache Flink Series 3 — Architecture of Flink

[2]Flink--對parallelism 和 slot的理解

[3]what's the meaning of different color in FLINK WEB UI

[4]https://github.com/apache/flink/blob/master/flink-runtime-web/web-dashboard/src/app/app.config.ts

以上是生活随笔為你收集整理的flink的web ui中五颜六色的方块是什么意思？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。