本篇只簡單介紹安裝步驟

1. 角色分配

10.11.84.4 web-crawler--1.novalocal master/slave

10.11.84.5 web-crawler--2.novalocal slave

10.11.84.6 web-crawler--3.novalocal slave

2.安裝目錄 /usr/local/hadoop (HADOOP_HOME)

3,創建group hadoop

groupadd hadoop

4.創建用戶hadoop

useradd -d /home/hadoop -g hadoop hadoop

chown -R hadoop:hadoop /usr/local/hadoop

5. 每臺機器安裝jdk(安裝在相同的目錄)

1)查看java 版本，可以看到jdk為openjdk，最好更換為sun jdk

[hadoop@hadoop2 ~]$ java -version

openjdk version "1.8.0_131"

OpenJDK Runtime Environment (build 1.8.0_131-b12)

OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

[hadoop@hadoop2 ~]$ rpm -qa | grep java

java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

javapackages-tools-3.4.1-11.el7.noarch

tzdata-java-2017b-1.el7.noarch

java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64

java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64

java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

python-javapackages-3.4.1-11.el7.noarch

2)卸載openjdk

rpm -qa | grep java | xargs yum -y remove

3)安裝sunjdk

/usr/local 目錄下解壓jdk-8u181-linux-i586.tar.gz 并命名為jdk

配置環境變量如下

vim /etc/profile? 末尾添加如下內容

export JAVA_HOME=/usr/local/jdk

export JRE_HOME=${JAVA_HOME}/jre

export PATH=${JAVA_HOME}/bin:${PATH}

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:${CLASSPATH}

4)查看jdk是否安裝成功

[root@hadoop2 local]# java -version

java version "1.8.0_151"

Java(TM) SE Runtime Environment (build 1.8.0_151-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

6. master 到 slave ssh 免密碼登錄

在每臺機器hadoop用戶下執行如下命令

[hadoop@hadoop1 ~]$ ssh-keygen -t rsa -P '' #一路直接回車

發送master 機器~/.ssh/id_rsa.pub 到所有slave節點

Scp id_rsa.pub hadoop@10.11.84.5:~

Scp id_rsa.pub hadoop@10.11.84.6:~

讓后在每臺slave節點hadoop 用戶下執行如下命令

Cd ~/.ssh

Cat ../id_rsa.pub >> authorized_keys

Chmod 644 authorized_keys

7.關閉所有機器防火墻、selinux

1)centos 7 以下

防火墻

查看防火墻狀態

service iptables status

臨時關閉防火墻

service iptables stop

永久關閉防火墻

chkconfig iptables off

selinux

setenforce 0 #臨時關閉

永久關閉需要修改如下文件

vim /etc/selinux/config

將SELINUX=enforcing改為SELINUX=disabled

2)centos 7

firewall-cmd --reload #重啟firewall

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall開機啟動

firewall-cmd --state #查看默認防火墻狀態(關閉后顯示notrunning，開啟后顯示running)

selinux 同上

8.修改hadoop配置文件

Core-site.xml

hadoop.tmp.dir

/home/hadoop/tmp

Abase for other temporary directories.

fs.default.name

hdfs://web-crawler--1.novalocal:9000

hadoop-env.sh 添加java_home

export JAVA_HOME=/usr/local/jdk

hdfs-site.xml

dfs.replication

2

dfs.name.dir

/home/hadoop/name

dfs.data.dir

/home/hadoop/data

mapred-site.xml

mapred.job.tracker

http://web-crawler--1.novalocal:9001;;;

mapred.system.dir

/home/hadoop/mapred/system

mapred.local.dir

/home/hadoop/mapred/local

5)masters

web-crawler--1.novalocal

6)slaves

web-crawler--1.novalocal

web-crawler--2.novalocal

web-crawler--3.novalocal

9. 修改環境變量，添加HADOOP_HOME 和JAVA_HOME

Vim /etc/profile (root)

export ANT_HOME=/usr/local/ant

export PATH=${PATH}:${ANT_HOME}/bin

export HADOOP_HOME=/usr/local/hadoop-1.2.1

export JAVA_HOME=/usr/local/jdk

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export PATH=/usr/local/lib/phantomjs/bin:$PATH

export ANT_HOME=/usr/local/ant

export PATH=${PATH}:${ANT_HOME}/bin

export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

10.啟動hadoop

1)在master上format namenode

hadoop namenode -format

2)啟動hadoop

sh /user/local/hadoop/bin/start-all.sh

11.進行簡單測試

Hadoop fs -mkdir -p /user/hadoop/private/in

Hadoop fs -put /user/local/hadoop/bin/start-all.sh /user/hadoop/private/in

Cd /usr/local/hadoop

Hadoop jar hadoop-examples-1.2.1.jar wordcount /user/hadoop/private/in /user/hadoop/private/out

總結

以上所述是小編給大家介紹的centos6.5 安裝hadoop1.2.1的教程詳解，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持！

總結

以上是生活随笔為你收集整理的linux卸载hadoop版本,centos6.5 安装hadoop1.2.1的教程详解【亲测版】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。