全網首發最詳細、手把手保姆級教你使用VirtualBox搭建基于Linux的Hadoop環境

前言

本博主在半年前學習hadoop時搭建的是穩定的版本2.6.0,后續會講解2.0和3.0的具體區別。
如果你原來的虛擬機安裝了JDK請閱讀第三步跟著敲命令行即可

第一步：下載安裝虛擬機軟件VirtualBox

VirtualBox的下載和安裝

官方下載網址：https://download.virtualbox.org/virtualbox/6.1.4/VirtualBox-6.1.4-136177-Win.exe

然后一步一步點擊示安裝

設置VirtualBox存儲文件

點擊“管理”——>“全局設定”

選擇“常規”，更改存儲virtualbox虛擬機文件的文件夾

創建虛擬機

點擊“新建”按鈕，輸入虛擬機的名稱，選擇類型，選擇版本，將類型更改為Linux；版本改為ubuntu（64-bit）
接著點擊 “下一步”

分配內存大小，點擊“下一步”

選擇“現在創建虛擬硬盤”再點擊“創建”

選擇默認的“VDI”類型，點擊“下一步”

選擇“動態分配”

設定為50G，（50G是上限值并非實際值，當虛擬機文件達到50G大小就不再增加）點擊“創建”

至此虛擬機創建完畢

第二步：安裝ubuntu操作系統

下載并安裝光盤鏡像

選擇華為云鏡像下載：https://repo.huaweicloud.com/ubuntu-releases/22.04/ubuntu-22.04-desktop-amd64.iso

設置ubuntu光盤映像文件

單擊選擇你創建的虛擬機 點擊“設置”——>點擊“存儲”——>點擊“控制器：IDE”下的光盤圖標，再點擊選擇你之前下載的光盤鏡像，設置好之后點擊完成即可。

安裝ubuntu

由于本人在此次安裝ubutun時忘記截圖，可以參考這篇博客（在歡迎界面記得更改語言為簡體中文）剛開始的屏幕分辨率太小，按鈕無法顯示，使用“ctrl+alt+T”快捷鍵打開終端執行xrandr -s 1280x800命令即可

(55條消息) 使用VirtualBox一步一步安裝Ubuntu 22.04_一種記憶的博客-CSDN博客_virtualbox 安裝ubuntu

安裝完后進行重啟。如果重啟后再次遇到分辨率太低，右鍵選擇顯示設置——>顯示器——>分辨率

安裝增強功能

點擊安裝增強功能后按照提示一步步走即可

安裝完成后進行共享粘貼板設置

如果遇到安裝增強功能失敗

打開終端分別執行下列命令（VBox_GAs_6.1.4，看自己安裝的VirtualBox是什么版本，6.1.4就是版本號）

sudo su cd /media/“你的主機名”/VBox_GAs_6.1.4/ sudo sh VBoxLinuxAdditions.run

如果在執行第三行指令后屏幕出現下面這種提示：

Please install the gcc make perl packages from your distribution

執行下面的命令即可

sudo apt-get install gcc make perl

安裝完畢后再次執行

sudo sh BoxLinuxAdditions.run sudo apt-get install gcc make perl

安裝完畢后再次執行

sudo sh BoxLinuxAdditions.run

再重啟虛擬機

第三步單機偽分布式環境搭建

安裝JDK

查看是否有默認的jdk

java -version

若沒有則需要下載
連接到APTServer，更新軟件包信息

sudo apt-get update

通過apt-get安裝JDK（這種方法由于沒有鏡像，下載速度很慢但流程簡單，另一種方法通過解壓下載的壓縮包配置jdk）

sudo apt-get install default-jdk

按照提示輸入Y等待下載完成

查看java版本

java -version

查看java的安裝路徑

update-alternatives --display java

注意：此路徑在后面會用到

設置SSH無密碼登錄

安裝ssh

sudo apt-get install ssh

安裝rsync

sudo apt-get install rsync

生成ssh密鑰進行身份驗證

ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa

查看生成的SSH密鑰

~/.ssh

將密鑰放入到許可證文件中

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

下載安裝Hadoop（）

下載hadoop-2.6.0.tar.gz

Wget https://downloads.apache.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

解壓hadoop-2.6.0.tar.gz

sudo tar -zxvf hadop-2.6.0.tar.gz

移動hadoop目錄到/usr/local/hadoop

sudo mv hadoop-2.6.0 /usr/local/hadoop

查看目錄/usr/local/hadoop下的文件

/usr/local/hadoop

設置hadoop環境變量

sudo gedit ~/.bashrc

在該文件的下方加以下配置

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 //第一行是你的jdk安裝路徑，安裝你自己下載的版本以及安裝路徑更改 export HADOOP_HOME=/usr/local/hadoop //第二行是hadoop的安裝路徑 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

樣圖

讓~/.bashrc設置生效

source ~/.bashrc

修改Hadoop配置設置文件

編輯hadoop-env.sh

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

原本文件的設置是

export JAVA_HOME=${JAVA_HOME}

將${JAVA_HOME}更改為"你的jdk安裝路徑"

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

修改core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

設置HDFS的默認名稱

修改yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

輸入以下內容

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>

設置mapred-site.xml
復制模板文件

sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

編輯mapred-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

將mapreduce框架改為yarn

<property><name>mapreduce.framework.name</name><value>yarn</value> </property>

設置hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml <property><name>dfs.replication</name><value>3</value> </property> <property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> <property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property>

創建并格式化HDFS目錄

創建NameNode數據存儲目錄

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

創建DataNode數據存儲目錄

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

修改hadoop目錄的所有者(你的主機名)

sudo chown hduser:hduser -R /usr/local/hadoop

將HDFS格式化（此語句有版本差異，如果執行后報錯，請安裝提示執行正確的語句）

hdfs namenode -format

啟動Hadoop

start-all.sh

查看NameNode，DataNode進程是否啟動

jps

打開瀏覽器分別輸入以下兩個網址都能正常打開代表hadoop單機偽分布式環境搭建成功
（Hadoop ResourceManager Web界面網址）
http://localhost:8088/
（Namenode HDFS Web 界面網址）
http://localhost:50070/

總結

以上是生活随笔為你收集整理的Hadoop环境搭建（全网最详细，保姆级教程）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。