當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

hdfs中Exception in createBlockOutputStream以及MapReduce中I/O error constructing remote block reader

發(fā)布時間：2025/3/11 编程问答 37 豆豆

生活随笔收集整理的這篇文章主要介紹了 hdfs中Exception in createBlockOutputStream以及MapReduce中I/O error constructing remote block reader 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

問題描述
(1) windows電腦向aliyun進行hdfs api文件追加操作時出現(xiàn)下方錯誤：

DEBUG [Thread-3] (DFSOutputStream.java:1503) - Connecting to datanode *.*.*.*:9866 DEBUG [IPC Client (927327686) connection to centos8/*.*.*.*:9820 from root] (Client.java:1192) - IPC Client (927327686) connection to centos8/*.*.*.*:9820 from root: closed DEBUG [IPC Client (927327686) connection to centos8/*.*.*.*:9820 from root] (Client.java:987) - IPC Client (927327686) connection to centos8/*.*.*.*:9820 from root: stopped, remaining connections 0INFO [Thread-3] (DFSOutputStream.java:1343) - Exception in createBlockOutputStream java.net.ConnectException: Connection timed out: no further informationat sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:715)at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1508)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1284)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1237)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:449)

(2) windows電腦向aliyun進行mapreduce api操作時出現(xiàn)下方錯誤：

WARN [LocalJobRunner Map Task Executor #0] (BlockReaderFactory.java:716) - I/O error constructing remote block reader.

問題原因
客戶端創(chuàng)建文件先訪問NameNode服務(wù)器進行創(chuàng)建文件Meta信息，以及文件樹，此時訪問NameNode的IP，NameNode服務(wù)器創(chuàng)建文件成功后，會返回對應(yīng)dataNode的服務(wù)器節(jié)點，但此時的節(jié)點信息中的ip是與NameNode在同一網(wǎng)絡(luò)下的內(nèi)網(wǎng)IP，客戶端是無法訪問，也就無法寫入。

問題解決
(1) 在hdfs-site.xml中添加配置

<property><name>dfs.client.use.datanode.hostname</name><value>true</value></property>

(2) 或者在idea代碼中添加

configuration.set("dfs.client.use.datanode.hostname", "true");

總結(jié)

以上是生活随笔為你收集整理的hdfs中Exception in createBlockOutputStream以及MapReduce中I/O error constructing remote block reader的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇：安卓rpg绅士游戏资源_海贼无双3（动作
下一篇： flex java oracle_Fle