四、MapReduce常用Shell操作

4.1、MapReduce常用Shell

MapReduce Shell 此處指的是可以使用類似shell的命令來直接和MapReduce任務進行交互（這里不嚴格區分MapReduce shell及Yarn shell）。

提交任務命令：

yarn jar <jar> [mainClass] args...

查看及修改任務命令：

yarn application [options] Usage: yarn app [options]

可選項：

• appId ： 指定APPlication id
• changeQueue ： 改變隊列
• kill ： 停止任務
• status ： 查看任務狀態

4.2、常用Shell-任務實例

查看MapReduce可以命令

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar

使用pi計算實例

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar pi

設置參數

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar pi 100 10

然后我們可以獲得application的id

通過這個id查看狀態

yarn application -status application_1619841871021_0001

我們也可以在瀏覽器查看這個信息，瀏覽器端口：master:8088

關閉這個任務：

yarn application -kill application_1619841871021_0001

---

五、MapReduce任務管理

MapReduce任務日志查看：

5.1、多任務競爭

我們可以通過修改/opt/hadoop-3.1.4/etc/hadoop/下的capacity-scheduler.xml，來同時運行兩個任務

cd /opt/hadoop-3.1.4/etc/hadoop/ vi capacity-scheduler.xml

改完后拷貝到其他結點

scp capacity-scheduler.xml node1:/opt/hadoop-3.1.4/etc/hadoop/ scp capacity-scheduler.xml node2:/opt/hadoop-3.1.4/etc/hadoop/ scp capacity-scheduler.xml node3:/opt/hadoop-3.1.4/etc/hadoop/

最后使配置生效

yarn rmadmin -refreshQueues

總結

以上是生活随笔為你收集整理的学习笔记Hadoop（十一）—— Hadoop基础操作（3）—— MapReduce常用Shell操作、MapReduce任务管理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。