?

hadoop版本：3.1.1

?

core-site.xml

dfs.namenode.rpc-address　　

作用：rpc地址。我在使用distcp時顯式使用到了。

默認值：port是8020

我的設置：hostname：8020

?

io.file.buffer.size

?

作用：io操作的緩存大小，單位字節。由于磁盤I/O的速度是比較慢的，如果一個進程的內存空間不足，它會將內存中的部分數據暫時寫到磁盤，當需要的時候，再把磁盤上面的數據寫到內存上面。因此設置和的預讀緩沖區大小來提高hadoop里面大文件順序讀的性能。以此來提高I/O性能。

?

默認值：131072 （128MB）

?

我的設置：默認值。

?

?

hdfs-site.xml

dfs.hosts?

dfs.hosts.exclude

作用：允許或排除的datanode列表。如有必要，使用這個配置控制臨時的dn列表.

默認值：空

我的設置：空。可以是文件名的完整路徑，文件內每行是一個主機名。

?

dfs.blocksize

作用：hdfs文件存儲的數據塊大小，單位字節b。

默認值：268435456 （256MB）

我的設置：默認值。

?

dfs.namenode.handler.count

作用：處理rpc調用的線程數。設置該值的一般原則是將其設置為集群大小的自然對數乘以20，即20logN，N為集群大小。?如果該值設的太小，明顯的狀況就是DataNode在連接NameNode的時候總是超時或者連接被拒。但NameNode的遠程過程調用隊列很大時，遠程過程調用延時就會加大。

默認值：10

我的設置：默認值。

?

?

?

轉載于:https://www.cnblogs.com/PigeonNoir/p/10451870.html

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的hadoop配置项笔记 - hdfs的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。