官網(wǎng)鏈接

任何文檔都沒有比官網(wǎng)提供的更權(quán)威、更準(zhǔn)確

https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

說明

• vim如下兩個(gè)配置文件
• 分發(fā)至所有節(jié)點(diǎn)
• 重啟yarn

vim fair-scheduler.xml

<!-- 隊(duì)列最小資源 --><minResources>2048mb,2vcores</minResources><!-- 隊(duì)列最大資源 --><maxResources>4096mb,4vcores</maxResources><!-- 隊(duì)列中最多同時(shí)運(yùn)行的應(yīng)用數(shù)，默認(rèn) 50，根據(jù)線程數(shù)配置 --><maxRunningApps>4</maxRunningApps><!-- 隊(duì)列中 Application Master 占用資源的最大比例 --><maxAMShare>0.5</maxAMShare><!-- 該隊(duì)列資源權(quán)重,默認(rèn)值為 1.0 --><weight>1.0</weight><!-- 隊(duì)列內(nèi)部的資源分配策略 --><schedulingPolicy>fair</schedulingPolicy></queue><!-- 任務(wù)隊(duì)列分配策略,可配置多層規(guī)則,從第一個(gè)規(guī)則開始匹配,直到匹配成功 --><queuePlacementPolicy><!-- 提交任務(wù)時(shí)指定隊(duì)列,如未指定提交隊(duì)列,則繼續(xù)匹配下一個(gè)規(guī)則; false 表示：如果指定隊(duì)列不存在,不允許自動(dòng)創(chuàng)建--><rule name="specified" create="false"/><!-- 提交到 root.group.username 隊(duì)列,若 root.group 不存在,不允許自動(dòng)創(chuàng)建；若root.group.user 不存在,允許自動(dòng)創(chuàng)建 --><rule name="nestedUserQueue" create="true"><rule name="primaryGroup" create="false"/></rule><!-- 最后一個(gè)規(guī)則必須為 reject 或者 default。Reject 表示拒絕創(chuàng)建提交失敗，default 表示把任務(wù)提交到 default 隊(duì)列 --><rule name="default" /></queuePlacementPolicy> </allocations>

vim yarn-site.xml

<!--配置公平調(diào)度器--> <property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value><description>配置使用公平調(diào)度器</description> </property> <property><name>yarn.scheduler.fair.allocation.file</name><value>/opt/dmgeo/bigdata/apps/hadoop-2.9.2/etc/hadoop/fair-scheduler.xml</value><description>指明公平調(diào)度器隊(duì)列分配配置文件</description> </property> <property><name>yarn.scheduler.fair.preemption</name><value>false</value><description>禁止隊(duì)列間資源搶占</description> </property>

總結(jié)

以上是生活随笔為你收集整理的hadoop 2.9.2 yarn配置公平调度器的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。