一、JAVA環境搭建

（1）下載JDK并解壓（當前操作系統為Ubuntu16.04，jdk版本為jdk-8u111-linux-x64.tar.gz）

新建/usr/java目錄，切換到jdk-8u111-linux-x64.tar.gz所在目錄，將這個文件解壓縮到/usr/java目錄下。

tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/java/（2）設置環境變量

修改.bashrc，在最后一行寫入下列內容。

sudo vim ~/.bashrc export JAVA_HOME=/usr/java/jdk1.8.0_111 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH

運行如下命令使環境變量生效。

source ~/.bashrc 打開profile文件，插入java環境配置節。 sudo vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_111 export JAVA_BIN=$JAVA_HOME/bin export JAVA_LIB=$JAVA_HOME/lib export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar export PATH=$JAVA_HOME/bin:$PATH

打開environment 文件，追加jdk目錄和jdk下的lib的目錄，如下所示。 sudo vim /etc/environment PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_111/lib:/usr/java/jdk1.8.0_111"

使配置生效

source /etc/environment
驗證java環境是否配置成功 java -version

二、安裝ssh-server并實現免密碼登錄

（1）下載ssh-server

sudo apt-get install openssh-server（2） 啟動ssh sudo /etc/init.d/ssh start（3） 查看ssh服務是否啟動，如果有顯示相關ssh字樣則表示成功。 ps -ef|grep ssh

（4）設置免密碼登錄

使用如下命令，一直回車，直到生成了rsa。

ssh-keygen -t rsa 導入authorized_keys cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

測試是否免密碼登錄localhost

ssh localhost 關閉防火墻 ufw disable

三、安裝hadoop單機模式和偽分布模式。

（1）下載hadoop-2.7.3.tar.gz，解壓到/usr/local（單機模式搭建）。

sudo tar zxvf hadoop-2.7.3.tar.gz -C /usr/local 切換到/usr/local下，將hadoop-2.7.3重命名為hadoop，并 給/usr/local/hadoop設置訪問權限。 cd /usr/local sudo mv hadoop-2.7.3 hadoop sudo chmod 777 /usr/local/hadoop （2）配置.bashrc文件

sudo vim ~/.bashrc

（如果沒有安裝vim，請用 sudo apt install vim 安裝。）

在文件末尾追加下面內容，然后保存。

#HADOOP VARIABLES START export JAVA_HOME=/usr/java/jdk1.8.0_111 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" #HADOOP VARIABLES END

執行下面命令，使添加的環境變量生效：

source ~/.bashrc

（3）hadoop配置 (偽分布模式搭建)

配置hadoop-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh # The java implementation to use. export JAVA_HOME=/usr/java/jdk1.8.0_111 export HADOOP=/usr/local/hadoop export PATH=$PATH:/usr/local/hadoop/bin

?配置yarn-env.sh sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh # export JAVA_HOME=/home/y/libexec/jdk1.6.0/ JAVA_HOME=/usr/java/jdk1.8.0_111
?

配置core-site.xml，在home目錄下創建?/home/lyh/hadoop_tmp目錄，然后在core-site.xml中添加下列內容。

sudo mkdir /home/lyh/hadoop_tmp sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml <configuration><!-- 指定HDFS老大（namenode）的通信地址 --><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!-- 指定hadoop運行時產生文件的存儲目錄 --><property><name>hadoop.tmp.dir</name><value>/home/lyh/hadoop_tmp</value></property> </configuration>

配置hdfs-site.xml sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml <configuration><!-- 指定HDFS副本的數量 --><property><name>dfs.replication</name><value>1</value></property> </configuration>

配置yarn-site.xml
sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration> <!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>127.0.0.1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>127.0.0.1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>127.0.0.1:8031</value></property> </configuration>

（4）關機重啟系統。

四、測試Hadoop是否安裝并配置成功。

（1）驗證Hadoop單機模式安裝完成

hadoop version能夠顯示Hadoop的版本號即可說明單機模式已經配置完成。
（2）啟動hdfs使用為分布模式。

格式化namenode

hdfs namenode -format有 "……has been successfully formatted" 等字樣出現即說明格式化成功。 注意：每次格式化都會生成一個namenode對應的ID，多次格式化之后，如果不改變datanode對應的ID號，運行wordcount向input中上傳文件時會失敗。

啟動hdfs

start-all.sh

顯示進程

jps

在瀏覽器中輸入http://localhost:50070/，出現如下頁面

輸入?http://localhost:8088/，出現如下頁面

則說明偽分布安裝配置成功了。

停止hdfs

stop-all.sh

五、運行wordcount

（1）啟動hdfs。

start-all.sh（2） 查看hdfs底下包含的文件目錄 hadoop dfs -ls /如果是第一次運行hdfs，則什么都不會顯示。

（3）在hdfs中創建一個文件目錄input，將/usr/local/hadoop/README.txt上傳至input中。

hdfs dfs -mkdir /input hadoop fs -put /usr/local/hadoop/README.txt /input

（4）執行以下命令運行wordcount，并將結果輸出到output中。

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output

出現類似上圖的頁面說明wordcount運行成功。注意：請將圖中紅色線框中的內容替換為自己的hadoop-mapreduce-examples-2.7.3.jar文件的路徑信息。

（5）執行成功后output 目錄底下會生成兩個文件 _SUCCESS 成功標志的文件，里面沒有內容。 一個是 part-r-00000 ，通過以下命令查看執行的結果，如下圖。

hadoop fs -cat /output/part-r-00000

附：hdfs常用命令

hadoop fs -mkdir /tmp/input 在HDFS上新建文件夾 hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt傳到HDFS的/tmp/input目錄下 hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地 hadoop fs -ls /tmp/output 列出HDFS的某目錄 hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件 hadoop fs -rmr /home/less/hadoop/tmp/output 刪除HDFS上的目錄 hadoop dfsadmin -report 查看HDFS狀態，比如有哪些datanode，每個datanode的情況 hadoop dfsadmin -safemode leave 離開安全模式 hadoop dfsadmin -safemode enter 進入安全模式
參考博客：

1.http://www.cnblogs.com/tatungzhang/p/5993138.html

2.http://blog.csdn.net/windghoul/article/details/52655032

總結

以上是生活随笔為你收集整理的Ubuntu16.04下Hadoop 2.7.3的安装与配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。