日常工作中會涉及到各種資源分配等問題，跨部門，跨業(yè)務(wù)等等，這里介紹基于CDH版本的Yarn 公平調(diào)度（實際使用DRF調(diào)度）

不同時間配置不同資源參考（計劃模式）：https://datamining.blog.csdn.net/article/details/94613928?

DRF與FAIR區(qū)別：

DRF：根據(jù) CPU 和內(nèi)存公平調(diào)度資源。 (建議，CDH自帶)

FAIR：僅根據(jù)內(nèi)存公平調(diào)度資源。

?禁止自動創(chuàng)建隊列

• yarn.scheduler.fair.user-as-default-queue false

• yarn.scheduler.fair.allow-undeclared-pools?false

該項勾選之后會使用username隊列，如果沒有會自動創(chuàng)建，并且占比(權(quán))為1

?CDH配置放置規(guī)則

1.登錄管理界面，進入動態(tài)資源池配置

2.刪除全部默認(rèn)配置規(guī)則

3.添加新的三條規(guī)則，注意按照順序

• 規(guī)則一：

• 規(guī)則二：

• 規(guī)則三：

4.創(chuàng)建完成的規(guī)則如下圖所示，并刷新最新配置

?配置資源池

?1.資源池創(chuàng)建默認(rèn)是在root父池下，即上圖的池名稱為 root.test 程序制定時可使用如下命令

set mapreduce.job.queuename=root.test;

2.最大運行數(shù)量，e.g. 配置為2

啟動三個程序，其中兩個正常跑平分資源，另外一個app處于ACCEPTED狀態(tài)，等待其他任務(wù)跑完后，才會跑

此時再啟動一個，在其他隊列的任務(wù)，發(fā)現(xiàn)可以正常運行，說明我們配置已生效

?3.設(shè)置最大使用資源

設(shè)置資源為該池使用最大資源，如權(quán)設(shè)置的大，最大資源設(shè)置小，則權(quán)失效。

總結(jié)

以上是生活随笔為你收集整理的CDH Yarn资源动态分配 - 指定资源限制 公平调度具体设置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。