core-site.xml

<configuration><property><name>hadoop.tmp.dir</name><value>/usr/local/data/hadoop/tmp</value><!-- 其他臨時目錄的父目錄 --></property><property><name>fs.defaultFS</name><value>hdfs://hadoop-alone:9000</value><!--hdfs://host:port/默認的文件系統的名稱。通常指定namenode的URI地址，包括主機和端口--></property><property><name>io.file.buffer.size</name><value>4096</value><!--在序列文件中使用的緩沖區大小，這個緩沖區的大小應該是頁大小（英特爾x86上為4096）的倍數他決定讀寫操作中緩沖了多少數據（單位kb）--></property><!--ZooKeeper集群的地址和端口。注意，數量一定是奇數，且不少于三個節點--><property><name>ha.zookeeper.quorum</name><value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181,hadoop5:2181</value></property> </configuration>

?

hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>3</value><!--指定dataNode存儲block的副本數量，默認值是3個，該值應該不大于4--></property><property><name>dfs.blocksize</name><value>268435456</value><!--大型的文件系統HDFS塊大小為256MB，先默認是128MB--></property><property><name>dfs.namenode.name.dir</name><value>file://${hadoop.tmp.dir}/dfs/name</value><!--存放namenode的名稱表（fsimage）的目錄，如果這是一個逗號分隔的目錄列表，那么在所有目錄中復制名稱表，用于冗余。--></property><property><name>dfs.datanode.data.dir</name><value>file://${hadoop.tmp.dir}/dfs/data</value><!--存放datanode塊的目錄。如果這是一個逗號分隔的目錄列表，那么數據將存儲在所有命名的目錄中，通常存儲在不同的設備上。--></property><property><name>dfs.namenode.http-address</name><value>0.0.0.0:50070</value><!----></property><property><name>dfs.namenode.secondary.http-address</name><value>0.0.0.0:50090</value><!--secondary namenode HTTP服務器地址和端口。--></property><property><name>dfs.permissions</name><value>false</value></property><property><name>dfs.permissions.enabled</name><value>false</value><!-- 當為true時，則允許HDFS的檢測，當為false時，則關閉HDFS的檢測，但不影響其它HDFS的其它功能。--></property><property><name>dfs.nameservices</name><value>hadoop-cluster1</value><!--給hdfs集群起名字 --></property><property><name>dfs.namenode.handler.count</name><value>100</value><!-- RPC服務器的監聽client線程數，如果dfs.namenode.servicerpc-address屬性沒有配置，則線程會監聽所有節點的請求。--></property> </configuration>

?

yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop-alone:8033</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop-alone:8025</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop-alone:8030</value></property><property><name>yarn.resourcemanager.address</name><value>hadoop-alone:8050</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop-alone:8030</value></property> </configuration>

?

mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><!--執行框架設置為 Hadoop YARN.--></property> </configuration>

?

轉載于:https://www.cnblogs.com/xhy-shine/p/10530729.html

總結

以上是生活随笔為你收集整理的Hadoop配置文件参数详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。