?

hadoop版本：3.1.1

?

core-site.xml

dfs.namenode.rpc-address　　

作用：rpc地址。我在使用distcp時(shí)顯式使用到了。

默認(rèn)值：port是8020

我的設(shè)置：hostname：8020

?

io.file.buffer.size

?

作用：io操作的緩存大小，單位字節(jié)。由于磁盤I/O的速度是比較慢的，如果一個(gè)進(jìn)程的內(nèi)存空間不足，它會(huì)將內(nèi)存中的部分?jǐn)?shù)據(jù)暫時(shí)寫到磁盤，當(dāng)需要的時(shí)候，再把磁盤上面的數(shù)據(jù)寫到內(nèi)存上面。因此設(shè)置和的預(yù)讀緩沖區(qū)大小來提高h(yuǎn)adoop里面大文件順序讀的性能。以此來提高I/O性能。

?

默認(rèn)值：131072 （128MB）

?

我的設(shè)置：默認(rèn)值。

?

?

hdfs-site.xml

dfs.hosts?

dfs.hosts.exclude

作用：允許或排除的datanode列表。如有必要，使用這個(gè)配置控制臨時(shí)的dn列表.

默認(rèn)值：空

我的設(shè)置：空?？梢允俏募耐暾窂?#xff0c;文件內(nèi)每行是一個(gè)主機(jī)名。

?

dfs.blocksize

作用：hdfs文件存儲(chǔ)的數(shù)據(jù)塊大小，單位字節(jié)b。

默認(rèn)值：268435456 （256MB）

我的設(shè)置：默認(rèn)值。

?

dfs.namenode.handler.count

作用：處理rpc調(diào)用的線程數(shù)。設(shè)置該值的一般原則是將其設(shè)置為集群大小的自然對(duì)數(shù)乘以20，即20logN，N為集群大小。?如果該值設(shè)的太小，明顯的狀況就是DataNode在連接NameNode的時(shí)候總是超時(shí)或者連接被拒。但NameNode的遠(yuǎn)程過程調(diào)用隊(duì)列很大時(shí)，遠(yuǎn)程過程調(diào)用延時(shí)就會(huì)加大。

默認(rèn)值：10

我的設(shè)置：默認(rèn)值。

?

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/PigeonNoir/p/10451870.html

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的hadoop配置项笔记 - hdfs的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。