1）在 capacity-scheduler.xml 中配置如下：

• （1）修改如下配置

<!-- 指定多隊(duì)列，增加 hive 隊(duì)列 --> <property><name>yarn.scheduler.capacity.root.queues</name><value>default,hive</value><description>The queues at the this level (root is the root queue).</description> </property> <!-- 降低 default 隊(duì)列資源額定容量為 40%，默認(rèn) 100% --> <property><name>yarn.scheduler.capacity.root.default.capacity</name><value>40</value> </property> <!-- 降低 default 隊(duì)列資源最大容量為 60%，默認(rèn) 100% --> <property><name>yarn.scheduler.capacity.root.default.maximum-capacity</name><value>60</value> </property>

• （2）為新加隊(duì)列添加必要屬性：

<!-- 指定 hive 隊(duì)列的資源額定容量 --> <property><name>yarn.scheduler.capacity.root.hive.capacity</name><value>60</value> </property> <!-- 用戶最多可以使用隊(duì)列多少資源，1 表示 --> <property><name>yarn.scheduler.capacity.root.hive.user-limit-factor</name><value>1</value> </property> <!-- 指定 hive 隊(duì)列的資源最大容量 --> <property><name>yarn.scheduler.capacity.root.hive.maximum-capacity</name><value>80</value> </property> <!-- 啟動(dòng) hive 隊(duì)列 --> <property><name>yarn.scheduler.capacity.root.hive.state</name><value>RUNNING</value> </property> <!-- 哪些用戶有權(quán)向隊(duì)列提交作業(yè) --> <property><name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name><value>*</value> </property> <!-- 哪些用戶有權(quán)操作隊(duì)列，管理員權(quán)限（查看/殺死） --> <property><name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name><value>*</value> </property> <!-- 哪些用戶有權(quán)配置提交任務(wù)優(yōu)先級 --> <property><name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</nam e><value>*</value> </property> <!-- 任務(wù)的超時(shí)時(shí)間設(shè)置：yarn application -appId appId -updateLifetime Timeout 參考資料： https://blog.cloudera.com/enforcing-application-lifetime-slasyarn/ --> <!-- 如果 application 指定了超時(shí)時(shí)間，則提交到該隊(duì)列的 application 能夠指定的最大超時(shí) 時(shí)間不能超過該值。 --> <property><name>yarn.scheduler.capacity.root.hive.maximum-applicationlifetime</name><value>-1</value> </property> <!-- 如果 application 沒指定超時(shí)時(shí)間，則用 default-application-lifetime 作為默認(rèn) 值 --> <property><name>yarn.scheduler.capacity.root.hive.default-applicationlifetime</name><value>-1</value> </property>

2）分發(fā)配置文件

3）重啟 Yarn 或者執(zhí)行 yarn rmadmin -refreshQueues 刷新隊(duì)列，就可以看到兩條隊(duì)列：

[zxl@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshQueues

總結(jié)

以上是生活随笔為你收集整理的Hadoop Yarn配置多队列的容量调度器案例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。