用sqoop從HDFS導出數據到mysql，一直卡在Running job: job_1571036741208_0010，應該是內存太小，導致速度太慢

在

yarn-site-xml中增加下面兩個，然后分發給各個節點，再重啟yarn即可

<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value> <discription>每個節點可用內存,單位MB</discription></property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> <discription>單個任務可申請最少內存，默認1024MB</discription> </property>

到map 100% reduce 0%不動了

內存大了以后，這里應該是數據有問題，要不然就是建表有問題，就是數據和表結構或編碼沖突
長度溢出：導入的數據超過mysql表的字段長度
主鍵重復 ：因為數據中有重復的主鍵的值（主鍵不能重復）
等

總結

以上是生活随笔為你收集整理的sqoop从HDFS导出数据到Mysql，卡在Running job: job_1571036741208_0010不动了，或者map 100% reduce 0%不动了的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。