Hadoop的安裝

集群的規劃:

服務器IP192.168.252.150192.168.252.151192.168.252.152

主機名	node01	node02	node03
NameNode	是	否	否
SecondaryNameNode	是	否	否
dataNode	是	是	是
ResourceManager	是	否	否
NodeManager	是	是	是

上傳并解壓

修改配置文件

分發安裝包

格式化HDFS

啟動集群

1. 上傳并解壓

上傳壓縮包到/export/software目錄

cd /export/software

tar xzvf hadoop-3.1.1.tar.gz -C ../servers

2. 修改配置文件

首先配置ip映射

vim /etc/hosts

因為需要遠程連接，所以這里ip要設置為本機ip，不能設置成127.0.0.1

192.168.252.150 hadoop

?

（1）.修改hadoop解壓目錄下的?etc/hadoop/hadoop-env.sh文件

指定java目錄

export JAVA_HOME=/usr/local/jdk1.8.0_131

（2）修改etc/hadoop/core-site.xml:

首先要創建tmp目錄，用于數據持久化

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- 指定HDFS老大（namenode）的通信地址 --><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!-- 臨時文件存儲目錄 --><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/hadoop-3.1.1/datas/tmp</value></property> </configuration>

3）修改etc/hadoop/hdfs-site.xml文件

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop/hadoop-3.1.1/datas/namenode</value> </property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop/hadoop-3.1.1/datas/datanode</value> </property><property><!-- 由于只有一臺機器,hdfs的副本數就指定為1 --><name>dfs.replication</name><value>1</value></property><property><name>dfs.datanode.http.address</name><value>0.0.0.0:50075</value></property><property><name>dfs.permissions.enabled</name><value>false</value></property> </configuration>

（4）修改etc/hadoop/mapred-site.xml文件

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property><property><name>mapred.child.tmp</name><value>/usr/local/hadoop/hadoop-3.1.1/datas/tmp</value></property> </configuration> # The java implementation to use. By default, this environment # variable is REQUIRED on ALL platforms except OS X! export JAVA_HOME=/usr/local/software/jdk1.8.0_151# Some parts of the shell code may do special things dependent upon # the operating system. We have to set this here. See the next # section as to why.... export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}# Under certain conditions, Java on OS X will throw SCDynamicStore errors # in the system logs. # See HADOOP-8719 for more information. If one needs Kerberos # support on OS X, one will want to change/remove this extra bit. case ${HADOOP_OS_TYPE} inDarwin*)export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= "export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.kdc= "export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf= ";; esacexport HDFS_NAMENODE_USER="root" export HDFS_DATANODE_USER="root" export HDFS_SECONDARYNAMENODE_USER="root" export YARN_RESOURCEMANAGER_USER="root" export YARN_NODEMANAGER_USER="root" <?xml version="1.0"?> <configuration> <!-- 設置不檢查虛擬內存的值，不然內存不夠會報錯 --><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property> <!-- yarn上面運行一個任務，最少需要1.5G內存，虛擬機沒有這么大的內存就調小這個值，不然會報錯 --><property><name>yarn.app.mapreduce.am.resource.mb</name><value>128</value></property> </configuration> <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop/hadoop-3.1.1/datas/namenode</value> </property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop/hadoop-3.1.1/datas/datanode</value> </property><property><!-- 由于只有一臺機器,hdfs的副本數就指定為1 --><name>dfs.replication</name><value>1</value></property><property><name>dfs.datanode.http.address</name><value>0.0.0.0:50075</value></property><property><name>dfs.permissions.enabled</name><value>false</value></property> </configuration>

?

4、安裝Hadoop分布式文件系統

（1）格式化文件系統：

bin/hdfs namenode -format

（2）啟動NameNode進程和DateNode進程

sbin/start-all.sh

（3）查看hadoop進程是否正常啟動

ps -ef|grep hadoop

5、在web瀏覽器中訪問NameNode的web接口，默認地址為：http://localhost:50075/

6. 格式化HDFS

• 為什么要格式化HDFS

  • HDFS需要一個格式化的過程來創建存放元數據(image, editlog)的目錄

    bin/hdfs namenode -format

    ?

總結

以上是生活随笔為你收集整理的hadoop的安装-配置文件修改的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。