文章目錄

• 01 引言
• 02 配置ssh環境
• 02 安裝與配置Hadoop
• 03 啟動Hadoop并驗證
• • 3.1 啟動Hadoop
  • 3.2 啟動yarn服務
• 04 Hadoop sbin下的命令

01 引言

如果想在Mac下安裝Hadoop而且讓Hadoop能正常運行，那安裝之前需要先安裝java，具體可以參考之前寫的博客《Mac下安裝JDK11（國內鏡像）》。

好了，現在開始講解如何在Mac環境下安裝Hadoop。

02 配置ssh環境

在Mac下如果想使用Hadoop，必須要配置ssh環境， 如果不執行這一步，后面啟動hadoop時會出現Connection refused連接被拒絕的錯誤。

首先終端命令框輸入：

ssh localhost

如果提示錯誤：

表示當前用戶沒有權限，更改設置如下：進入系統偏好設置 --> 共享 --> 勾選遠程登錄->勾選所有用戶，如下圖：

再次輸入ssh localhost會提示輸入密碼，這個時候要重新配置一下ssh免密登錄。

① 進入ssh的目錄：

cd ~/.ssh

② 將id_rsa.pub中的內容拷貝到 authorized_keys中：

cat id_rsa.pub >> authorized_keys

操作成功：

02 安裝與配置Hadoop

① 使用brew命令安裝（這里沒有指定版本，安裝的是最新版的hadoop）：

brew install hadoop

② 查看是否安裝成功：

hadoop version

如果顯示如下界面，表示安裝成功，可以看到版本號為3.3.1：

③ 進入hadoop的目錄：

cd /usr/local/Cellar/hadoop/3.3.1/libexec/etc/hadoop

④ 修改core-site.xml：

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:8020</value></property><!--用來指定hadoop運行時產生文件的存放目錄 自己創建--><property><name>hadoop.tmp.dir</name><value>file:/usr/local/Cellar/hadoop/tmp</value></property> </configuration>

⑤ 修改hdfs-site.xml，配置namenode和datanode：

<configuration><property><name>dfs.replication</name><value>1</value></property><!--不是root用戶也可以寫文件到hdfs--><property><name>dfs.permissions</name><value>false</value> <!--關閉防火墻--></property><!--把路徑換成本地的name坐在位置--><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/Cellar/hadoop/tmp/dfs/name</value></property><!--在本地新建一個存放hadoop數據的文件夾，然后將路徑在這里配置一下--><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/Cellar/hadoop/tmp/dfs/data</value></property> </configuration>

⑥ 修改 mapred-site.xml：

<configuration><property><!--指定mapreduce運行在yarn上--><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>localhost:9010</value></property><!-- 新添加 --><!-- 下面的路徑就是你hadoop distribution directory --><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec</value> </property></configuration>

⑦ 修改yarn-site.xml:

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>localhost:9000</value></property> <property><name>yarn.scheduler.capacity.maximum-am-resource-percent</name><value>100</value></property> </configuration>

03 啟動Hadoop并驗證

3.1 啟動Hadoop

① 啟動hadoop :

cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin ./start-dfs.sh

② 瀏覽器中輸入http://localhost:9870/，出現以下界面就說明成功了：

如果打不開這個web頁面，而且又啟動了，需要在hadoop下/etc/hadoop/hadoop-env.sh文件下第52行后面添加下方配置:

cd /usr/local/Cellar/hadoop/3.3.1/libexec/etc export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

③ 可以停止服務hadoop服務：

./stop-yarn.sh

3.2 啟動yarn服務

① 啟動yarn服務:

cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin ./stop-dfs.sh

② 瀏覽器中打開http://localhost:8088/就會出現下圖的界面:

③ 可以停止服務yarn服務：

./stop-yarn.sh

04 Hadoop sbin下的命令

1.啟動所有的Hadoop守護進程（包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager）：

sbin/start-all.sh

2.停止所有的Hadoop守護進程（包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager）:

sbin/stop-all.sh

3.啟動Hadoop HDFS守護進程NameNode、SecondaryNameNode、DataNode

sbin/start-dfs.sh

4.停止Hadoop HDFS守護進程NameNode、SecondaryNameNode和DataNode：

sbin/stop-dfs.sh

5.單獨啟動NameNode守護進程

sbin/hadoop-daemons.sh start namenode

6.單獨停止NameNode守護進程

sbin/hadoop-daemons.sh stop namenode

7.單獨啟動DataNode守護進程

sbin/hadoop-daemons.sh start datanode

8.單獨停止DataNode守護進程

sbin/hadoop-daemons.sh stop datanode

9.單獨啟動SecondaryNameNode守護進程:

sbin/hadoop-daemons.sh start secondarynamenode

10.單獨停止SecondaryNameNode守護進程

sbin/hadoop-daemons.sh stop secondarynamenode

11.啟動ResourceManager、NodeManager

sbin/start-yarn.sh

12.停止ResourceManager、NodeManager

sbin/stop-yarn.sh

13.單獨啟動ResourceManager

sbin/yarn-daemon.sh start resourcemanager

14.單獨啟動NodeManager

sbin/yarn-daemons.sh start nodemanager

15.單獨停止ResourceManager

sbin/yarn-daemon.sh stop resourcemanager

16.單獨停止NodeManager

sbin/yarn-daemons.sh stopnodemanager

17.手動啟動jobhistory

sbin/mr-jobhistory-daemon.sh start historyserver

18.手動停止jobhistory

sbin/mr-jobhistory-daemon.sh stop historyserver

總結

以上是生活随笔為你收集整理的Mac下安装Hadoop的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。