?hadoop-env.sh

配置hadoop中的 hadoop-env.sh（后邊很多框架配置環(huán)境都是xxx.env.sh）

配置hadoop的環(huán)境變量的，一般有Java home，hadoopconfdir等這些軟件、配置目錄，有運(yùn)行過程中使用的變量，如hadoop棧大小配置，java 運(yùn)行內(nèi)存大小配置等等。

用工具直接打開進(jìn)行配置即可；

默認(rèn)是已經(jīng)開啟的，如果前面有#，只需要去掉即可；

core-site.xml

配置hadoop的訪問目錄（配置ip主機(jī)和端口號；提供出來進(jìn)行訪問）；修改配置文件 etc/hadoop/core-site.xml

用于定義系統(tǒng)級別的參數(shù)，如HDFS URL、Hadoop的臨時(shí)目錄等；

Parameter	Value	Notes
fs.defaultFS	NameNode URI	hdfs://host:port/
io.file.buffer.size	131072	Size of read/write buffer used in SequenceFiles.

其中，fs.defaultFS表示要配置的默認(rèn)文件系統(tǒng)，io.file.buffer.size表示設(shè)置buffer的大小。

最簡單的方法，使用工具直接找到文件打開進(jìn)行配置；

在這個(gè)里邊還有很多的配置信息，需要我們?nèi)ス俜秸疫^來配置；

.配置元數(shù)據(jù)和block塊；其實(shí)就是去配置我們的hdfs中數(shù)據(jù)存儲的block塊；

hdfs-site.xml

HDFS也是采用塊管理的，但是比較大，在Hadoop1.x中默認(rèn)大小是64M，Hadoop2.x中大小默認(rèn)為128M；他就是把一個(gè)大的文件分割成多個(gè)128M的block塊來分布式存儲數(shù)據(jù)；

HDFS的元數(shù)據(jù)包含三部分：

抽象目錄樹
數(shù)據(jù)和塊映射關(guān)系
數(shù)據(jù)塊的存儲節(jié)點(diǎn)
元數(shù)據(jù)有兩個(gè)存儲位置：

內(nèi)存：1、2、3
3在集群啟動(dòng)時(shí)，Datanode 通過心跳機(jī)制向Namenode發(fā)送。
磁盤：1、2
集群啟動(dòng)時(shí)需要將磁盤中的元數(shù)據(jù)加載到內(nèi)存中，所以磁盤中的元數(shù)據(jù)不適宜過多。
元數(shù)據(jù)的存儲格式：data/hadoopdata/目錄下有三個(gè)文件夾

data
數(shù)據(jù)的真實(shí)存儲目錄，即datanode存儲數(shù)據(jù)的存儲目錄
name：元數(shù)據(jù)存儲目錄
namenode存儲元數(shù)據(jù)的存儲目錄

需要對/usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 其實(shí)就是hadoop的文件系統(tǒng)進(jìn)行配置；

mapred-site.xml

配置計(jì)算框架：mapreduce框架； 需要對這個(gè)文件進(jìn)行修改： mapred-site.xml

• hadoop2.x中沒有這個(gè)文件；只有 vi mapred-site.xml.template 這個(gè)臨時(shí)文件；需要對他的后綴進(jìn)行修改；

mapred-site.xml.template mapred-site.xml 修改文件的后綴名字;

?

? yarn-site.xml

對yarn的資源調(diào)度的配置： resourcemanager（資源調(diào)度管理者--針對的是nameNode） 和nodemanager （節(jié)點(diǎn)管理者--針對的是我們具體的節(jié)點(diǎn)） 主要是在 yarn-site.xml中進(jìn)行配置：

?slaves

配置從節(jié)點(diǎn)：也就是指定那些節(jié)點(diǎn)是從節(jié)點(diǎn)：就是這個(gè)文件：slaves

這個(gè)地方把原來的localhost刪除；加入你的從節(jié)點(diǎn)即可；

?到此hadoop的配置基本完成；就可以把這個(gè)分發(fā)給從節(jié)點(diǎn)中去；

發(fā)分主節(jié)點(diǎn)的hadooop內(nèi)容給從節(jié)點(diǎn)

把配置好的hadoop的內(nèi)容發(fā)分給hadoop02中的usr/local目錄中；

scp -r /usr/local/hadoop-2.7.3/ hadoop02:/usr/local/

把配置好的hadoop的內(nèi)容分發(fā)給hadoop03中的usr/local目錄中；

scp -r /usr/local/hadoop-2.7.3/ hadoop03:/usr/local/

?hadoop配置完成

總結(jié)

以上是生活随笔為你收集整理的Hadoop配置文件（ hadoop-env.sh、core-site.xml、hdfs-site.xm、mapred-site.xml、yarn-site.xml、 slaves）详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。