1. 配置主機(jī)名 /etc/sysconfig/network hostname=master master是主節(jié)點(diǎn)的意思
需要重啟虛擬機(jī)才能生效
2. 配置主機(jī)名和ip地址的映射
先確保靜態(tài)ip配置好了，在主機(jī)可以ping虛擬機(jī)，在虛擬機(jī)可以ping通主機(jī)
eth0 的網(wǎng)卡設(shè)置為 僅主機(jī)模式
/etc/hosts 192.168.56.2 master

3.ssh
先確保自己電腦上安裝了ssh rpm -qa | grep ssh
安裝過(guò)ssh 可以直接啟動(dòng)服務(wù) service sshd start ，關(guān)閉linux防火墻 service iptables stop
chkconfig iptables off 永久關(guān)閉
ssh免密登錄
1、生成公鑰 ssh-keygen -t rsa
2.拷貝公鑰 ssh-copy-id -i ~/.ssh/id_rsa.pub root@master

4.java 環(huán)境配置
首先上傳jdk和hadoop壓縮包
1.解壓 jdk tar -zxvf jdk…
2.配置環(huán)境變量
需要先刪除本地的jdk
查找本地安裝的jdk包 rpm -qa | grep jdk
刪除本地包 rpm -e --nodeps xxxx…

配置環(huán)境變量 /etc/profile
export JAVA_HOME=/java的安裝地址
export PATH=$PATH:$JAVA_HOME/bin

環(huán)境變量配置好以后先 source 生效 source /etc/profile
驗(yàn)證配置成功 java -version 1.8的版本

5.hadoop配置
1、解壓hadoop tar -zxvf hadoop…
2. 配置環(huán)境變量 /etc/profile
export HADOOP_HOME=/hadoop的安裝地址
export PATH=$PATH:$HADOOP_HOME/bin
使環(huán)境變量生效 source

3.配置hadoop 的配置文件、
在 hadoop安裝目錄 下的 etc/hadoop

hadoop-env.sh
配置jdk 和hadoop的環(huán)境變量
export JAVA_HOME=/root/soft/jdk1.8.0_161
export HADOOP_HOME=/root/soft/hadoop-2.6.0-cdh5.7.0

core-site.xml
配置 hdfs文件系統(tǒng)的地址

fs.defaultFS
hdfs://master:8020

hdfs-site.xml
第一個(gè) dfs.replication data副本的數(shù)量 第二個(gè) dfs.name.dir namenode的數(shù)據(jù)存放地址
第三個(gè) dfs.data.dir datanode 的數(shù)據(jù)存放地址

dfs.replication
3


dfs.name.dir
/root/soft/hdfs/name


dfs.data.dir
/root/soft/hdfs/data

slaver
配置 master

格式化 hdfs
hadoop namenode -format

啟動(dòng) 在hadoop安裝目錄下 的sbin目錄
./start-dfs.sh 啟動(dòng)
./stop-dfs.sh 停止
啟動(dòng)成功jps 會(huì)有 四個(gè)進(jìn)程 datanode namenode secondarynamenode jps

總結(jié)

以上是生活随笔為你收集整理的Hadoop的配置的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。