hadoop(6)——mrjob的使用(2)——交给hadoop集群
生活随笔
收集整理的這篇文章主要介紹了
hadoop(6)——mrjob的使用(2)——交给hadoop集群
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
(1)開啟hdfs和yarn服務
(2)查看寫好的文件(同上一篇hadoop(5))
(3)執行命令
(4)任務完成
(5)查看output
ps:中間遇到了很多坑,比如說在執行該命令向前,一定要先hadoop fs -rm -r /output,不然已經建立了該文件夾hadoop會報錯
還有就是如果在虛擬環境下創建該任務,除了(3)的命令外,一定要加上–
python-bin +/python解釋器的位置參數
還有就是一定要把safe模式關掉:hdfs dfsadmin -safemode leave
總結
以上是生活随笔為你收集整理的hadoop(6)——mrjob的使用(2)——交给hadoop集群的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: hadoop(5)——mrjob的使用(
- 下一篇: hive(2)——hive基本操作