為了方便后面使用Hadoop的shell命令，我先介紹Hadoop的安裝。

Hadoop有多種安裝模式，這里介紹偽分布式的安裝。

我測試過Ubutun、Centos和WSL，都可以正常安裝Hadoop的所有版本。所有一般不會出現版本對應的問題。

Hadoop是基于Java語言進行編寫的，在Hadoop程序執行過程中會調用起系統環境的java虛擬機(JVM)，所以我們的系統中需要安裝JDK。直接搜索JDK進入官網下載即可。考慮到目前的Hadoop基本上都是基于JDK1.8的，建議下載JDK1.8，高版本的Java雖然也可以支持Hadoop的正常執行，但是會報Warning，強迫癥看著應該會很難受。

一、JDK安裝

如果你的系統是Centos可以需要卸載Centos系統自帶的OpenJDK。

java -version

使用這個命令會看到當前系統的Java版本，如果系統存在Java，那么可以直接看到Java版本信息。如果沒有安裝Java，那么應該什么也看不到。如果是OpenJDK，就需要先卸載。

OpenJDK卸載過程

rpm -qa | grep java

使用這個命令就可以看到所以的Java文件，.noarch結尾的文件可以不用刪除，其他文件使用下述命令進行刪除。

rpm -e --nodeps [Java文件名]

將[java文件名]替換為對應的Java文件名就可以刪除了。如果提示權限不夠，則需要使用管理員權限。

以上過程之后，OpenJDK就刪除完成了。

OracleJDK安裝

找到下載好的JDK安裝包，我們知道，Linux系統萬物皆是文件，所以所謂的安裝過程其實就是文件的解壓。

tar -zxvf [文件名]

同理，將 [文件名] 改成對應的JDK安裝包的名稱。之后我們就可以看到解壓好的JDK文件，我們可以將其移動到我們希望安裝的位置。一般都是放在 /usr 目錄下。為了方便，我們先將JDK文件重命名為java，然后移動到 /usr 目錄下。

mv [文件名] javamv java /usr/

之后就可以配置環境變量了。

vi /etc/profile

這個命令是需要root權限的，建議進入root用戶再進行處理。使用上述命令打開文件后，在文件最后寫入Java的目錄信息。

這樣Java就安裝完成了。

java -version

二、SSH免密登錄

玩過GitHub的人應該都配置過免密登錄。他是為了方便用戶使用，避免每次使用都重新輸入密碼。

SSH安裝

ssh localhost

輸入上述命令后，若顯示

ssh: connect to host localhost port 22: Connection refused

則意味著沒有安裝SSH，我們需要先安裝SSH。過程也很簡單(Centos將apt命令改為yum命令)

apt-get updatesudo apt-get install openssh-serversudo apt-get install openssh-server

接著啟動SSH

sudo service ssh start

SSH免密配置

ssh-keygen

輸入上述命令之后，一路回車即可。它會在 /home/[用戶名] 目錄下生成一個隱藏的 .ssh文件夾，文件夾內保存著密鑰信息。

cd /home/[用戶名]/.sshtouch authorized_keyschmod 600 authorized_keyscat id_rsa.pub >> authorized_keys

執行時，將 [用戶名] 改為自己的用戶目錄即可。

此時嘗試

ssh localhost

發現無需密碼，可以直接登錄成功。

SSH卸載

提供了一個卸載方法，以備不時之需。

sudo apt-get remove openssh-serversudo apt-get remove openssh-client

三、Hadoop安裝

本著Linux中萬物皆文件的哲學，我們明白，所謂的安裝就是解壓二進制安裝包，修改配置文件。

直接進入官網，下載自己想要Hadoop版本，我使用的2.7.7版本。下載完之后進行解壓，然后修改稱自己喜歡的名字，放到想安裝的目錄下。

tar -zxvf [hadoop安裝包名] ? ? ? # 解壓mv [hadoop文件名] hadoop ? ? ? ?# 重命名mv hadoop /home/hadoop/ ? ? ? ?#將文件移動到/home/hadoop目錄下

文件配置

Hadoop安裝的重點其實就是文件的配置。在hadoop文件的 etc/hadoop目錄下，我們會看到很多.sh或者.xml結尾的配置文件。我們需要其中幾個必選項。使用 vi 命令進入文件進行修改。例如：

vi core-site.xml

添加內容：

1. core-site.xml

<configuration> ? ?<property> ? ? ? ?<name>hadoop.tmp.dirname> ? ? ? ?<value>file:/home/hadoop/hadoop/tmpvalue> ? ? ? ? ?<description>Abase for other temporary directories.description> ? ?property> ? ?<property> ? ? ? ?<name>fs.defaultFSname> ? ? ? ?<value>hdfs://localhost:9000value> ? ?property>configuration>

2. ?mapred-site.xml

如果你只看到 mapred-site.xml.template文件，自己復制一個并重命名就可以。在下面的配置中，遇到同樣的問題，可以采用相同的方法解決。

copy mapred-site.xml.template mapred-site.xmlvi mapred-site.xml<configuration> ? ?<property> ? ? ? ?<name>mapred.job.trackername> ? ? ? ?<value>localhost:9001value> ? ?property> ? ?<property> ? ? ? ?<name>mapreduce.framework.namename> ? ? ? ?<value>yarnvalue> ? ?property>configuration>

3. hdfs-site.xml

<configuration> ? ?<property> ? ? ? ?<name>dfs.replicationname> ? ? ? ?<value>1value> ? ?property> ? ?<property> ? ? ? ?<name>dfs.namenode.name.dirname> ? ? ? ?<value>file:/home/hadoop/hadoop/tmp/dfs/namevalue> ? ? ?property> ? ?<property> ? ? ? ?<name>dfs.datanode.data.dirname> ? ? ? ?<value>file:/home/hadoop/hadoop/tmp/dfs/datavalue> ? ? ?property>configuration>

4. hadoop-env.sh

export JAVA_HOME=[java_path]

將 [java_path] 改為你自己java路徑就可以。

5. ?yarn-site.xml

<configuration> ? ?<property> ? ? ? ?<name>yarn.nodemanager.aux-servicesname> ? ? ? ?<value>mapreduce_shufflevalue> ? ?property>configuration>

至此，一個偽分布式Hadoop就安裝完成了。

Hadoop的初始化

安裝完成之后，需要進行集群初始化，當然這里我們沒有集群，但是初始化也是必須的。

進入Hadoop文件目錄。執行：

bin/hdfs namenode -format

之后會出現一連串信息，我們不用管他，中途沒有出現ERROR關鍵字，我們的集群初始化就算成功了。

之后就可以啟動Hadoop了。

sbin/start-dfs.shsbin/start-yarn.sh

沒有出現報錯則說明啟動成功，輸入jps

jps

叮！！！

配置完成。

打開瀏覽器，輸入地址 ?localhost:50070

現在你就走出了Hadoop的新手村。

關閉也很簡單

sbin/stop-all.sh

總結

以上是生活随笔為你收集整理的centos 7.6安装java_Hadoop的安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。