四、MapReduce常用Shell操作

4.1、MapReduce常用Shell

MapReduce Shell 此處指的是可以使用類似shell的命令來(lái)直接和MapReduce任務(wù)進(jìn)行交互（這里不嚴(yán)格區(qū)分MapReduce shell及Yarn shell）。

提交任務(wù)命令：

yarn jar <jar> [mainClass] args...

查看及修改任務(wù)命令：

yarn application [options] Usage: yarn app [options]

可選項(xiàng)：

• appId ： 指定APPlication id
• changeQueue ： 改變隊(duì)列
• kill ： 停止任務(wù)
• status ： 查看任務(wù)狀態(tài)

4.2、常用Shell-任務(wù)實(shí)例

查看MapReduce可以命令

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar

使用pi計(jì)算實(shí)例

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar pi

設(shè)置參數(shù)

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar pi 100 10

然后我們可以獲得application的id

通過(guò)這個(gè)id查看狀態(tài)

yarn application -status application_1619841871021_0001

我們也可以在瀏覽器查看這個(gè)信息，瀏覽器端口：master:8088

關(guān)閉這個(gè)任務(wù)：

yarn application -kill application_1619841871021_0001

---

五、MapReduce任務(wù)管理

MapReduce任務(wù)日志查看：

5.1、多任務(wù)競(jìng)爭(zhēng)

我們可以通過(guò)修改/opt/hadoop-3.1.4/etc/hadoop/下的capacity-scheduler.xml，來(lái)同時(shí)運(yùn)行兩個(gè)任務(wù)

cd /opt/hadoop-3.1.4/etc/hadoop/ vi capacity-scheduler.xml

改完后拷貝到其他結(jié)點(diǎn)

scp capacity-scheduler.xml node1:/opt/hadoop-3.1.4/etc/hadoop/ scp capacity-scheduler.xml node2:/opt/hadoop-3.1.4/etc/hadoop/ scp capacity-scheduler.xml node3:/opt/hadoop-3.1.4/etc/hadoop/

最后使配置生效

yarn rmadmin -refreshQueues

總結(jié)

以上是生活随笔為你收集整理的学习笔记Hadoop（十一）—— Hadoop基础操作（3）—— MapReduce常用Shell操作、MapReduce任务管理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。