hadoop是用cloudra的官方yum源安裝的，服務器是CentOS6.3 64位操作系統，自己寫的mapreduce執行的時候hadoop會提示以下錯誤：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

?

網上說是這樣的

Hadoop的native是在32 bit環境下編譯的，在64bit環境下運行會有問題，所以需要下載hadoop的源碼在64bit環境下重新編譯

?

然后在官方文檔里找到了相應的解釋

鏈接：http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/NativeLibraries.html

The pre-built 32-bit i386-Linux native hadoop library is available as part of the hadoop distribution and is located in the lib/native directory. You can download the hadoop distribution from Hadoop Common Releases.Be sure to install the zlib and/or gzip development packages - whichever compression codecs you want to use with your deployment.

?

于是，按照官檔里的說明在服務器上Build出新的hadoop，把native里面的庫文件替換默認的的庫文件，搞定，重啟hadoop所有服務，自己寫的mapreduce可以用了，那么接下來問題來了……發現hdfs進入了Safemode，說有個多少多少塊corrupted，然后發現重啟期間有同事在使用mapreduce，懷疑是這個原因造成了數據的損壞。由于數據有備份，于是手動解除Safemode，用hadoo fsck刪掉了壞掉的數據塊，此時是不提示corrupted了，可是驚奇的發現，datanode沒有起來！

Hadoop datanode is dead and pid file exists

?

緊接著，找到存在的pid file，rm之，再起！還是不行！找到datanode的日志，發現有FATAL信息！

2014-11-26 14:35:49,577 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDescriptor0(Ljava/lang/String;Ljava/lang/St ring;I)Ljava/io/FileDescriptor;at org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDescriptor0(Native Method)at org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.create(SharedFileDescriptorFactory.java:87)at org.apache.hadoop.hdfs.server.datanode.ShortCircuitRegistry.<init>(ShortCircuitRegistry.java:169)at org.apache.hadoop.hdfs.server.datanode.DataNode.initDataXceiver(DataNode.java:586)at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:773)at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:292)at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1893)at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1780)at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1827)at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2003)at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2027) 2014-11-26 14:35:49,580 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1 2014-11-26 14:35:49,582 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down DataNode at carweb94/10.14.1.94

?

搜索了下，發現是native庫文件的問題！好吧，這下找到元兇了，把默認的native庫文件替換回來了，問題解決了。排錯的過程中，這篇文章給了很大啟發。

http://stackoverflow.com/questions/26467568/hadoop-2-5-0-failed-to-start-datanode

?

轉載于:https://www.cnblogs.com/fanfanfantasy/p/4123412.html

總結

以上是生活随笔為你收集整理的更改hadoop native库文件后datanode故障的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。