三連后觀看，養(yǎng)成好習(xí)慣！
點(diǎn)個(gè)關(guān)注吧，球球啦！
Flink Runtime運(yùn)行時(shí)架構(gòu)：https://blog.csdn.net/Mr_kidBK/article/details/105709629

前言

??????Apache Flink 一個(gè)高性能的分布式數(shù)據(jù)處理引擎，它用于對(duì)無界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算，它被設(shè)計(jì)在所有常見的集群環(huán)境中運(yùn)行，以內(nèi)存執(zhí)行速度和任意規(guī)模來執(zhí)行計(jì)算。
??????相信過多的我不需要做什么介紹，本系列將以flink整體架構(gòu)，資源管理與作業(yè)調(diào)度，錯(cuò)誤恢復(fù)三個(gè)層面詳細(xì)的講述Flink Runtime運(yùn)行時(shí)架構(gòu)核心機(jī)制。

正文

書接上回。。。
好了我們繼續(xù)吧

稍作歇息之后，美女面試官又回到了座位上，期間似乎補(bǔ)了個(gè)妝，還換了身衣服？！

這。這誰頂?shù)米　！！?br />

Flink資源管理有了解嗎，流程簡單描述下

可以，不愧是選中我的面試官。

??????之前我們說過，Flink中也有他自己的資源資源管理器RM，具體說的話資源管理就是RM中一個(gè)叫SlotManager的一個(gè)組件，他負(fù)責(zé)維護(hù)管理Slot狀態(tài)和分配空閑的Slot資源。

??????JobManager需要對(duì)整個(gè)作業(yè)負(fù)責(zé)，因此首先是由它發(fā)起向RM索要slot資源的請(qǐng)求，而在TM啟動(dòng)的時(shí)候，他會(huì)主動(dòng)的向RM報(bào)告自己的Slot信息，包括有多少個(gè)slot，每個(gè)slot的資源大小（社區(qū)版無）。當(dāng)RM收到JM的申請(qǐng)時(shí)，會(huì)計(jì)算集群空閑資源是否滿足需求，如果達(dá)到需求，RM會(huì)向被分配的TM發(fā)送通知“你的xxSlot被征用了，請(qǐng)去xxx地和JM接頭！”

??????然后，TM收到通知后，會(huì)找到JM，告訴他“你的申請(qǐng)成功了，這些Slot現(xiàn)在暫時(shí)歸你了！”；JM收到Slot后，會(huì)把Slot信息緩存在一個(gè)SlotPool中，在收到足夠的Slot后，JM會(huì)把task提交到對(duì)應(yīng)的Slot上，也就是提交任務(wù)執(zhí)行。

??????當(dāng)作業(yè)結(jié)束，無論是異常結(jié)束還是正常結(jié)束，TM都會(huì)向RM發(fā)送釋放對(duì)應(yīng)Slot的請(qǐng)求。
（結(jié)合上圖更容易理解哦！）

上篇文章你也說過，在生成JobGraph時(shí)Flink會(huì)把能分配在一起的task分到一起（瘋狂暗示）
Operator Chains（算子鏈）這個(gè)概念你了解嗎？

??????為了更高效地分布式執(zhí)行，Flink會(huì)盡可能地將operator的subtask鏈接（chain）在一起形成task，這些task會(huì)在相同的slot中被執(zhí)行，它能減少線程之間的切換，減少消息的序列化/反序列化，減少數(shù)據(jù)在緩沖區(qū)的交換，減少了延遲的同時(shí)提高整體的吞吐量。

什么情況下才會(huì)把Operator chain在一起形成算子鏈？

比如說我現(xiàn)在有這樣一個(gè)job，并行度為3

首先，相同的task是不能chain的，如A1，A2，A3。

兩個(gè)task之間分區(qū)方式是forward（上下游算子并行度一樣），并且他們?cè)谝粋€(gè)slot group 中

下游節(jié)點(diǎn)的入度為1 （也就是說下游節(jié)點(diǎn)沒有來自其他節(jié)點(diǎn)的輸入）

下一章：checkpoint容錯(cuò)機(jī)制與錯(cuò)誤恢復(fù)

點(diǎn)關(guān)注，不迷路！

你知道的越多，你的頭就會(huì)越禿

點(diǎn)個(gè)贊再走,球球啦!

原創(chuàng)不易,白嫖不好，各位的支持和認(rèn)可，就是我創(chuàng)作的最大動(dòng)力，我們下篇文章見！

本博客僅發(fā)布于CSDN—一個(gè)帥到不能再帥的人 Mr_kidBK。轉(zhuǎn)載請(qǐng)標(biāo)明出處。
https://blog.csdn.net/Mr_kidBK

點(diǎn)贊！收藏！轉(zhuǎn)發(fā)！！！么么噠！
點(diǎn)贊！收藏！轉(zhuǎn)發(fā)！！！么么噠！
點(diǎn)贊！收藏！轉(zhuǎn)發(fā)！！！么么噠！
點(diǎn)贊！收藏！轉(zhuǎn)發(fā)！！！么么噠！
點(diǎn)贊！收藏！轉(zhuǎn)發(fā)！！！么么噠！
————————————————

總結(jié)

以上是生活随笔為你收集整理的阿里美女面试官问我：Flink资源管理有了解吗的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。