Windows下配置單機(jī)Hadoop環(huán)境

文章目錄

• Windows下配置單機(jī)Hadoop環(huán)境
• • 下載Hadoop
  • 下載配置文件
  • 配置環(huán)境變量
  • 初始化HDFS
  • 啟動(dòng)Hadoop
  • 關(guān)閉Hadoop
  • 常見錯(cuò)誤
  • 參考博客

下載Hadoop

首先，請(qǐng)確保電腦上已經(jīng)安裝了 JDK并配置了環(huán)境變量。因?yàn)?Hadoop的底層實(shí)現(xiàn)語言是 Java，必須在 Java 環(huán)境下 Hadoop 才能正常運(yùn)行。（注意，一定要使用 64位 的 java 版本）

接著，我們?nèi)?Hadoop 官網(wǎng)下載一個(gè) Hadoop 的穩(wěn)定版本，然而考慮到官網(wǎng)是外網(wǎng)，下載可能需要兩三個(gè)小時(shí)，實(shí)在是太過緩慢。

這里我們推薦使用北理工的鏡像站來下載 Hadoop 的穩(wěn)定版本 Hadoop北理工鏡像

鏡像站提供了幾個(gè)穩(wěn)定版本，這里我們選擇的是 hadoop-2.7.7，點(diǎn)擊進(jìn)入目錄

我們選擇 hadoop-2.7.7.tar.gz ，因?yàn)?Hadoop 的安裝包Windows 和 Linux是一樣的，所以后綴是 tar.gz。

“開始”里面找到 WinRAR，右擊->“更多”->“以管理員權(quán)限運(yùn)行”

找到剛才下載的 Hadoop壓縮包，解壓到自己想要的安裝位置，比如我的安裝位置是“D:\Dpan\hadoop”。

請(qǐng)一定要使用管理員身份解壓，不然可能解壓出的文件少那么一兩個(gè)，錯(cuò)誤了你都找不到原因。

下載配置文件

下載關(guān)于 Hadoop 的 Windows 配置文件，這里給出百度云鏈接

鏈接：https://pan.baidu.com/s/1NAfsFsPz561Gp6FMo2YOMg
提取碼：ewry

下載完配置文件之后，解壓出來。將 bin 和 etc 文件夾替換掉剛解壓的官方下載包中的 bin 和 etc 文件夾。注意是替換，直接拷貝過來選擇全部替換！

打開剛才解壓的 hadoop-2.7.7 文件夾，找到文件夾下的 \etc\hadoop 目錄，使用編輯器對(duì)配置文件 hadoop-env.cmd 進(jìn)行修改。在代碼的第26行，把路徑修改為你自己電腦上的JAVA_HOME路徑。（如果忘記了JAVA_HOME，可以去環(huán)境變量里查看）

這里注意，如果路徑中帶空格的文件夾需要用軟鏈進(jìn)行替代，否則 Hadoop 也是運(yùn)行不起來的。 比如“Program Files”，要用“PROGRA~1”替代。

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_171

接著，使用編輯器修改同級(jí)目錄下的 hdfs-site.xml 文件，將最后兩個(gè) property 的 value 值修改為“/項(xiàng)目目錄/data/namenode”和“/項(xiàng)目目錄/data/datanode”這里要使用絕對(duì)路徑

然后，在 hadoop-2.7.7 文件夾下，新建“tmp”文件夾和“data”文件夾；

在“data”文件夾下再新建兩個(gè)文件夾“namenode”、“datanode”。

最后，將 bin 目錄下的 hadoop.dll 文件拷貝到 C:\Windows\System32

配置環(huán)境變量

Hadoop 環(huán)境變量的配置和 JDK的配置方法是一樣的。

在系統(tǒng)變量欄點(diǎn)擊“新建”

新建 HADOOP_HOME 環(huán)境變量，位置就是剛才 Hadoop 包解壓的位置

注意這里環(huán)境變量的地址中間不能有空格，不然也會(huì)報(bào)錯(cuò)。

在系統(tǒng)變量中找到“path”變量，點(diǎn)擊編輯，“新建”，填入“%HADOOP_HOME%\bin”，環(huán)境變量就配置完畢了。

接下來，我們來檢查一下。打開 cmd ，輸入“hadoop”，如果有提示信息證明 hadoop 環(huán)境變量配置成功。

初始化HDFS

在 Windows 系統(tǒng)工具中找到命令提示符，以管理員身份打開。

輸入命令

hdfs namenode -format

在彈出信息的接近末尾處，看到 successfully 信息，就證明 HDFS 初始化成功。

啟動(dòng)Hadoop

啟動(dòng) Hadoop 不要求管理員權(quán)限，直接打開 cmd 就可以。

打開 cmd 之后，把路徑轉(zhuǎn)到 Hadoop 安裝目錄的 sbin 文件夾下。強(qiáng)調(diào)一下，是 sbin 目錄，不是 bin。

輸入命令，啟動(dòng) Hadoop 集群。注意這個(gè)命令時(shí)連續(xù)的，中間沒有空格。

start-all

出現(xiàn)了四個(gè)命令行窗口，分別是

namenode

datanode

nodemanagr

resourcemanager

證明 Hadoop 啟動(dòng)成功。

在剛才我們自己打開的 cmd 窗口中輸入命令，可以查看運(yùn)行的所有節(jié)點(diǎn)

jps

打開瀏覽器，輸入地址“http://localhost:50070”，可以訪問 Hadoop 的 web 頁面。

輸入地址“http://localhost:8088”，可以訪問 yarn 的web界面，表明已經(jīng)成功

輸入地址“http://hostname:8088/logs/”，可以查看hadoop集群運(yùn)行日志的地址。

下次啟動(dòng) hadoop 的時(shí)候就不需要初始化 HDFS 了，直接啟動(dòng)即可。

關(guān)閉Hadoop

在剛才我們自己打開的 cmd 窗口中輸入命令

stop-all

就可以停止運(yùn)行所有節(jié)點(diǎn)了

常見錯(cuò)誤

安裝完Hadoop之后，命令行輸入hadoop卻找不到命令

解決方法是先查看你的 hadoop 環(huán)境變量和 path ，如果沒有配置請(qǐng)抓緊配置。如果都配置好了，那就是 source 暫時(shí)沒有加載出來。關(guān)閉此命令行，重新打開即可。

如果啟動(dòng)的四個(gè)窗口中缺少 datanode 窗口，是因?yàn)镠DFS被多次初始化，而導(dǎo)致 namenode 的 clusterID 與 datanode 的 clusterID 不一致。

解決方法有兩種：

關(guān)閉 hadoop ，去 hadoop 的目錄下，將 namenode、datanode 文件夾刪除，再新建這兩個(gè)文件夾，再次初始化 HDFS 即可。

查到他們的 clusterID，對(duì)應(yīng)修改即可。此方法請(qǐng)見第二個(gè)參考博客

參考博客

Windows下配置Hadoop環(huán)境（全過程）

Hadoop HA 集群啟動(dòng)發(fā)現(xiàn)現(xiàn)datanode沒有啟動(dòng)

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Windows下配置单机Hadoop环境的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。