cpmpute->executors:

• 1.從storm配置獲取<compoent-id,parallelism>集合
• 2.storm-task-info 獲得<task-id, compoent-id>集合
• 3.將集合處理為 [compoent-id, tasks]
• 4.將<compoent-id,parallelism>和<compoent-id,tasks> join得到<compoent-id,[parallelism,tasks]>
• 5.根據[parallelism,tasks]將task均分到數目為parallelism的分區,返回每個parallelism的[task-1,task-2,...]
• 6.將返回的轉換為executor集合[start-task-id,end-task-id]

get-alive-assigned-node+port -> executors:

• 1.獲得當前topology的assignment
• 2.如不為空，則獲得其中的<executors,slot>
• 3.轉化為[executors,[node,port]]
• 4.再次轉化為<[node,port],executors>
• 5.返回結果

sort-slots:

• 1.將所有可用的slots作為參數傳入
• 2.根據supervisor-id進行分組排序
• 3.調用intervel-all方法對分組排序后的結果結合colls進行處理
  • 1 colls不為空，則調用map first方法對集合處理：遍歷colls，取每個supervisor的第一條記錄，加入到my-elments中。
  • 2 遞歸調用interval-all處理剩下的集合。

參見下圖：

bad-slots:

• 1.參數需要：此topology已經分配的資源existing-slots、此topology的所有
  的executor、此topology可使用的slot數目
• 2.根據executer數和可使用的slot數計算出一個<executor-count,slot-count>，executor-count表示一個slot里面的executor數目，slot-count表示這樣的slot有多少個。比如 10個executor ，4個slot可能的計算結果為<2,2>,<3,2>
• 3.再根據傳入的existing-slots中的每一項計算其executor-count
  • 把計算得到的executor-count作為鍵去集合<executor-count,slot-count>里面取，如果找到的值大于0，說明存在這樣的分配，保持這樣的分配，將其加入到keeps中，對應的slot-count的值減一，繼續下一個計算
• 4.遍歷完existing-slots集合后，可能會未加入keeps集合的元素，此時這些就是可以被釋放的資源。具體做法就是：existing-slots和keeps做差值，剩下的，就可以釋放。作為結果返回。

轉載于:https://www.cnblogs.com/Chuck-wu/p/4983892.html

總結

以上是生活随笔為你收集整理的续调度算法补充的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。