1、首先關(guān)閉yarn，執(zhí)行 stop-yarn.sh
2、開啟fair機制：在yarn-site.xml中配置：

<property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property>

3、在$HADOOP_HOME/etc/hadoop下創(chuàng)建文件fair-scheduler.xml,并且配置：

我這里根據(jù)業(yè)務需要，創(chuàng)建三個queue：

<?xml version="1.0"?> <allocations> <defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy><queue name="update"><weight>20</weight><schedulingPolicy>fifo</schedulingPolicy></queue><queue name="datas"><weight>70</weight><schedulingPolicy>fifo</schedulingPolicy></queue><queue name="commandResponse"><weight>10</weight><schedulingPolicy>fifo</schedulingPolicy></queue> </allocations>

4、發(fā)送到其他機器：

scp fair-scheduler.xml yarn-site.xml cdh03:$PWD

5、啟動yarn，執(zhí)行start-yarn.sh
6、執(zhí)行一個spark程序：

/home/bigdata/spark-3.1.2-bin-hadoop3.2/bin/spark-submit --class com.zhbr.kafka2sink.Test5 --master yarn --deploy-mode cluster --queue update --driver-memory 1g --num-executors 3 --executor-memory 1g --executor-cores 1 xxxx.jar

7、運行中通過WebUI可以查看運行過程：

總結(jié)

以上是生活随笔為你收集整理的HadoopYarn设置Fair Scheduler公平调度器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。