日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

namenode启动不了以及datanode启动不了的解决办法

發布時間:2023/12/20 编程问答 28 豆豆
生活随笔 收集整理的這篇文章主要介紹了 namenode启动不了以及datanode启动不了的解决办法 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

首先我們都知道jps查看節點是否起來了

,如果namenode或者datanode沒有起來,那么

cd $HADOOP_HOME/logs

rm *

然后重新復現之前的問題,

./dfs-start.sh

--------------------------------namenode故障---------------------------------------------

如果是namenode啟動不了,那么就打開

hadoop-appleyuchi-namenode-ubuntu.log

查詢error字樣

例如出現:

There appears to be a gap in the edit log. We expected txid 1, but got txid?

解決方案:

hadoop namenode -recover
一路選擇y,一般就OK了(后來發現升級Hadoop也用這個辦法解決了。)

-------------------------------Datanode故障--------------------------------------------------

如果是datanode啟動不了,

同樣查看logs下面的文件

hadoop-appleyuchi-datanode-ubuntu.log

這里我們會發現,當我們修復完namenode以后,datanode就故障了,不能啟動了

解決方案:

查看hdfs-site.xml,從里面的定義我們看到namenode和datanode的具體位置

? ? ? ? ?<name>dfs.namenode.name.dir</name>
? ? ? ? ?<value>file:/home/appleyuchi/dfs/name</value>
? ? </property>
? ? <property>
? ? ? ? ?<name>dfs.datanode.data.dir</name>
? ? ? ? ?<value>file:/home/appleyuchi/dfs/data</value>
? ? </property>
</configuration>

用namenode文件夾中的VERSION文件中clusterID

替換

用datanode文件夾中的VERSION文件中的clusterID

即可.

-------------------------------------------------

最后切記:千萬不要動不動就格式化,格式化以后hdfs上面的數據就全部沒了!!!

-------------------------------------------------

第三次碰到這個問題,是在真實的集群中碰到的,辦法是,可以手動啟動datanode

hdfs datanode

---------------------------------------------------------------------------------------------------------------------------------------------------

第4次碰到這個問題,是因為其中一個節點重裝系統了,恢復如下:

mkdir -p ~/dfs/name
hadoop namenode -format

---------------------------------------------------------------------------------------------------------------------------------------------------

第5次碰到這個問題,

subl hadoop-appleyuchi-namenode-Desktop.out

報錯信息:

java.net.SocketException: Unresolved addressat sun.nio.ch.Net.translateToSocketException(Net.java:131)at sun.nio.ch.Net.translateException(Net.java:157)at sun.nio.ch.Net.translateException(Net.java:163)at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:76)at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:351)at org.eclipse.jetty.server.ServerConnector.open(ServerConnector.java:319)at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:1185)at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1216)at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1279)at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:1134)at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:177)at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:869)at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:691)at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:937)at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:910)at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1643)at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1710) Caused by: java.nio.channels.UnresolvedAddressExceptionat sun.nio.ch.Net.checkAddress(Net.java:101)at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:218)at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)... 13 more

此時看報錯信息就沒啥用了

Starting Web-server for hdfs at: http://https://account.jetbrains.com:443:9870

估計是和諧jetbrain的時候的hosts的地方(因為需要下載軟件,所以需要在hosts中注釋掉)

?

總結

以上是生活随笔為你收集整理的namenode启动不了以及datanode启动不了的解决办法的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。