Hadoop 的配置有些麻煩，目前沒有一鍵配置的功能，雖然當時我在安裝過程中也參考了有關教程，但還是遇到了很多坑，一些老版本的安裝過程已不適用于 hadoop2.x，下面就介紹一下具體步驟。

---

安裝 Java

因為之后使用 Hadoop 需要運行 jar 包，所以 Java 環境是必須的，這里不作贅述，相信大多數學習 Hadoop 的小伙伴計算機上都早已經搭好 Java 環境。

---

下載 Hadoop 源碼

點擊 這里 ，有所有的歷史版本。本教程以 hadoop-2.8.2 為例，下載 hadoop-2.8.2.tar.gz 即可。下載完成后，解壓到本地合適的目錄下。

---

添加 Hadoop 環境變量

在 .bash_profile 文件中配置 Hadoop 的環境變量，使用 vim 打開該文件，在終端運行如下命令打開文件：

vim ~/.bash_profile

進入編輯模式后添加以下兩行代碼（修改成自己機子上的路徑）：

export HADOOP_HOME=/Users/Cyan/coding/hadoop/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin

退出編輯模式，使用 :wq 保存修改，然后運行 source 命令使文件中的修改立即生效：

#source ~/.bash_profile

在終端執行命令：

hadoop version

結果如下，說明 hadoop 路徑配置好了：

添加好了環境變量，下面就是修改一些相關配置文件。

---

修改 Hadoop 的配置文件

需要修改的 Hadoop 配置文件都在目錄 etc/hadoop 下，包括：

• hadoop-env.sh
• core-site.xml
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml

下面我們逐步進行配置：

1. 修改 hadoop-env.sh 文件

直接設置 JAVA_HOME 的路徑，不要用$JAVA_HOME 代替，因為 Hadoop 對系統變量的支持不是很好。修改下面兩個路徑（用你機子上的 JAVA 路徑和 Hadoop 目錄的路徑代替）：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Contents/Home
export HADOOP_CONF_DIR=/Users/Cyan/coding/hadoop/hadoop-2.8.2/etc/hadoop

2. 修改 core-site.xml 文件

設置 Hadoop 的臨時目錄和文件系統，localhost:9000 表示本地主機。如果使用遠程主機，要用相應的 IP 地址來代替，填寫遠程主機的域名，則需要到 /etc/hosts 文件中做 DNS 映射。在 core-site.xml 文件里作如下配置：

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!--用來指定hadoop運行時產生文件的存放目錄  自己創建--><property><name>hadoop.tmp.dir</name><value>/Users/Cyan/coding/hadoop/hadoop-2.8.2/tmp</value></property>
</configuration>

3. 修改 hdfs-site.xml 文件

hdfs-site.xml 的配置修改如下，注意 name 和 data 的路徑都要替換成本地的路徑：

<configuration><property><name>dfs.replication</name><value>1</value></property><!--不是root用戶也可以寫文件到hdfs--><property><name>dfs.permissions</name><value>false</value>    <!--關閉防火墻--></property><!--把路徑換成本地的name坐在位置--><property><name>dfs.namenode.name.dir</name><value>/home/hadoop/cdh4/hadoop/dfs/name</value></property><!--在本地新建一個存放hadoop數據的文件夾，然后將路徑在這里配置一下--><property><name>dfs.datanode.data.dir</name><value>/data1/hadoop</value></property>
</configuration>

4. 修改 mapred-site.xml 文件

由于根目錄下 etc/hadoop 中沒有 mapred-site.xml 文件，所以需要創建該文件。但是目錄中提供了 mapred-site.xml.template 模版文件。我們將其重命名為 mapred-site.xml，然后將 yarn 設置成數據處理框架：

<configuration><property><!--指定mapreduce運行在yarn上--><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

5. 修改 yarn-site.xml 文件

配置數據的處理框架 yarn：

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>localhost:9000</value></property>
</configuration>

至此需要修改和配置的文件都已經沒有問題了。

---

啟動 Hadoop

1. 啟動 NameNode

在終端運行命令：

hadoop namenode -format

結果如下就是成功了：

2. 啟動 HDFS

在終端首先進入 /sbin 目錄：

cd /Users/Cyan/coding/hadoop/hadoop-2.8.2/sbin

然后啟動 HDFS：

./start-dfs.sh

如果成功了，過程中需要輸三次密碼。

如果報錯 “connection refused”，則需要在計算機系統設置中打開遠程登錄許可。

點擊 Sharing（共享）：

勾選 Remote Login（遠程登錄），然后添加當前用戶：

這樣就會解決 connection 的問題，如果還有其他錯誤，請檢查路徑添加的版本和本機的版本是否匹配。

3. 啟動 yarn

在終端首先進入 /sbin 目錄：

cd /Users/Cyan/coding/hadoop/hadoop-2.8.2/sbin

然后啟動 yarn：

./ start-yarn.sh

在終端執行：

jps

結果如下，證明 Hadoop 可以成功啟動：

我們也可以在瀏覽器中打開 http://localhost:50070/ 來查看 Hadoop 的啟動情況：

---

Hadoop 的安裝啟動就完成啦！接下來就可以通過一些 shell 命令來操作 Hadoop 下的文件了，例如：

hadoop fs -ls /　　　　　　　 查看根目錄下的文件及文件夾
hadoop fs -mkdir /test      在根目錄下創建一個文件夾 testdata
hadoop fs -rm /.../...      移除某個文件
hadoop fs -rmr /...         移除某個空的文件夾

---

第一時間了解更多大數據相關內容，歡迎關注微信公眾號【數據池塘】：

總結

以上是生活随笔為你收集整理的hadoop启动_Mac OS X 上搭建 Hadoop 开发环境指南的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。