Hadoop的配置
1. 配置主機(jī)名 /etc/sysconfig/network hostname=master master是主節(jié)點(diǎn)的意思
需要重啟虛擬機(jī)才能生效
2. 配置主機(jī)名和ip地址的映射
先確保靜態(tài)ip配置好了,在主機(jī)可以ping虛擬機(jī),在虛擬機(jī)可以ping通主機(jī)
eth0 的網(wǎng)卡設(shè)置為 僅主機(jī)模式
/etc/hosts 192.168.56.2 master
3.ssh
先確保自己電腦上安裝了ssh rpm -qa | grep ssh
安裝過(guò)ssh 可以直接啟動(dòng)服務(wù) service sshd start ,關(guān)閉linux防火墻 service iptables stop
chkconfig iptables off 永久關(guān)閉
ssh免密登錄
1、生成公鑰 ssh-keygen -t rsa
2.拷貝公鑰 ssh-copy-id -i ~/.ssh/id_rsa.pub root@master
4.java 環(huán)境配置
首先上傳jdk和hadoop壓縮包
1.解壓 jdk tar -zxvf jdk…
2.配置環(huán)境變量
需要先刪除本地的jdk
查找本地安裝的jdk包 rpm -qa | grep jdk
刪除本地包 rpm -e --nodeps xxxx…
配置環(huán)境變量 /etc/profile
export JAVA_HOME=/java的安裝地址
export PATH=PATH:PATH:PATH:JAVA_HOME/bin
環(huán)境變量配置好以后先 source 生效 source /etc/profile
驗(yàn)證配置成功 java -version 1.8的版本
5.hadoop配置
1、解壓hadoop tar -zxvf hadoop…
2. 配置環(huán)境變量 /etc/profile
export HADOOP_HOME=/hadoop的安裝地址
export PATH=PATH:PATH:PATH:HADOOP_HOME/bin
使環(huán)境變量生效 source
3.配置hadoop 的配置文件、
在 hadoop安裝目錄 下的 etc/hadoop
hadoop-env.sh
配置jdk 和hadoop的環(huán)境變量
export JAVA_HOME=/root/soft/jdk1.8.0_161
export HADOOP_HOME=/root/soft/hadoop-2.6.0-cdh5.7.0
core-site.xml
配置 hdfs文件系統(tǒng)的地址
fs.defaultFS
hdfs://master:8020
hdfs-site.xml
第一個(gè) dfs.replication data副本的數(shù)量 第二個(gè) dfs.name.dir namenode的數(shù)據(jù)存放地址
第三個(gè) dfs.data.dir datanode 的數(shù)據(jù)存放地址
dfs.replication
3
dfs.name.dir
/root/soft/hdfs/name
dfs.data.dir
/root/soft/hdfs/data
slaver
配置 master
格式化 hdfs
hadoop namenode -format
啟動(dòng) 在hadoop安裝目錄下 的sbin目錄
./start-dfs.sh 啟動(dòng)
./stop-dfs.sh 停止
啟動(dòng)成功jps 會(huì)有 四個(gè)進(jìn)程 datanode namenode secondarynamenode jps
總結(jié)
- 上一篇: 基于统计学的商务与经济数据分析知识
- 下一篇: 于是按照贴吧某同学的指教,把imageV