全網(wǎng)首發(fā)最詳細(xì)、手把手保姆級(jí)教你使用VirtualBox搭建基于Linux的Hadoop環(huán)境

前言

本博主在半年前學(xué)習(xí)hadoop時(shí)搭建的是穩(wěn)定的版本2.6.0,后續(xù)會(huì)講解2.0和3.0的具體區(qū)別。
如果你原來的虛擬機(jī)安裝了JDK請(qǐng)閱讀第三步跟著敲命令行即可

第一步：下載安裝虛擬機(jī)軟件VirtualBox

VirtualBox的下載和安裝

官方下載網(wǎng)址：https://download.virtualbox.org/virtualbox/6.1.4/VirtualBox-6.1.4-136177-Win.exe

然后一步一步點(diǎn)擊示安裝

設(shè)置VirtualBox存儲(chǔ)文件

點(diǎn)擊“管理”——>“全局設(shè)定”

選擇“常規(guī)”，更改存儲(chǔ)virtualbox虛擬機(jī)文件的文件夾

創(chuàng)建虛擬機(jī)

點(diǎn)擊“新建”按鈕，輸入虛擬機(jī)的名稱，選擇類型，選擇版本，將類型更改為L(zhǎng)inux；版本改為ubuntu（64-bit）
接著點(diǎn)擊 “下一步”

分配內(nèi)存大小，點(diǎn)擊“下一步”

選擇“現(xiàn)在創(chuàng)建虛擬硬盤”再點(diǎn)擊“創(chuàng)建”

選擇默認(rèn)的“VDI”類型，點(diǎn)擊“下一步”

選擇“動(dòng)態(tài)分配”

設(shè)定為50G，（50G是上限值并非實(shí)際值，當(dāng)虛擬機(jī)文件達(dá)到50G大小就不再增加）點(diǎn)擊“創(chuàng)建”

至此虛擬機(jī)創(chuàng)建完畢

第二步：安裝ubuntu操作系統(tǒng)

下載并安裝光盤鏡像

選擇華為云鏡像下載：https://repo.huaweicloud.com/ubuntu-releases/22.04/ubuntu-22.04-desktop-amd64.iso

設(shè)置ubuntu光盤映像文件

單擊選擇你創(chuàng)建的虛擬機(jī) 點(diǎn)擊“設(shè)置”——>點(diǎn)擊“存儲(chǔ)”——>點(diǎn)擊“控制器：IDE”下的光盤圖標(biāo)，再點(diǎn)擊選擇你之前下載的光盤鏡像，設(shè)置好之后點(diǎn)擊完成即可。

安裝ubuntu

由于本人在此次安裝ubutun時(shí)忘記截圖，可以參考這篇博客（在歡迎界面記得更改語言為簡(jiǎn)體中文）剛開始的屏幕分辨率太小，按鈕無法顯示，使用“ctrl+alt+T”快捷鍵打開終端執(zhí)行xrandr -s 1280x800命令即可

(55條消息) 使用VirtualBox一步一步安裝Ubuntu 22.04_一種記憶的博客-CSDN博客_virtualbox 安裝ubuntu

安裝完后進(jìn)行重啟。如果重啟后再次遇到分辨率太低，右鍵選擇顯示設(shè)置——>顯示器——>分辨率

安裝增強(qiáng)功能

點(diǎn)擊安裝增強(qiáng)功能后按照提示一步步走即可

安裝完成后進(jìn)行共享粘貼板設(shè)置

如果遇到安裝增強(qiáng)功能失敗

打開終端分別執(zhí)行下列命令（VBox_GAs_6.1.4，看自己安裝的VirtualBox是什么版本，6.1.4就是版本號(hào)）

sudo su cd /media/“你的主機(jī)名”/VBox_GAs_6.1.4/ sudo sh VBoxLinuxAdditions.run

如果在執(zhí)行第三行指令后屏幕出現(xiàn)下面這種提示：

Please install the gcc make perl packages from your distribution

執(zhí)行下面的命令即可

sudo apt-get install gcc make perl

安裝完畢后再次執(zhí)行

sudo sh BoxLinuxAdditions.run sudo apt-get install gcc make perl

安裝完畢后再次執(zhí)行

sudo sh BoxLinuxAdditions.run

再重啟虛擬機(jī)

第三步單機(jī)偽分布式環(huán)境搭建

安裝JDK

查看是否有默認(rèn)的jdk

java -version

若沒有則需要下載
連接到APTServer，更新軟件包信息

sudo apt-get update

通過apt-get安裝JDK（這種方法由于沒有鏡像，下載速度很慢但流程簡(jiǎn)單，另一種方法通過解壓下載的壓縮包配置jdk）

sudo apt-get install default-jdk

按照提示輸入Y等待下載完成

查看java版本

java -version

查看java的安裝路徑

update-alternatives --display java

注意：此路徑在后面會(huì)用到

設(shè)置SSH無密碼登錄

安裝ssh

sudo apt-get install ssh

安裝rsync

sudo apt-get install rsync

生成ssh密鑰進(jìn)行身份驗(yàn)證

ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa

查看生成的SSH密鑰

~/.ssh

將密鑰放入到許可證文件中

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

下載安裝Hadoop（）

下載hadoop-2.6.0.tar.gz

Wget https://downloads.apache.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

解壓hadoop-2.6.0.tar.gz

sudo tar -zxvf hadop-2.6.0.tar.gz

移動(dòng)hadoop目錄到/usr/local/hadoop

sudo mv hadoop-2.6.0 /usr/local/hadoop

查看目錄/usr/local/hadoop下的文件

/usr/local/hadoop

設(shè)置hadoop環(huán)境變量

sudo gedit ~/.bashrc

在該文件的下方加以下配置

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 //第一行是你的jdk安裝路徑，安裝你自己下載的版本以及安裝路徑更改 export HADOOP_HOME=/usr/local/hadoop //第二行是hadoop的安裝路徑 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

樣圖

讓~/.bashrc設(shè)置生效

source ~/.bashrc

修改Hadoop配置設(shè)置文件

編輯hadoop-env.sh

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

原本文件的設(shè)置是

export JAVA_HOME=${JAVA_HOME}

將${JAVA_HOME}更改為"你的jdk安裝路徑"

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

修改core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

設(shè)置HDFS的默認(rèn)名稱

修改yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

輸入以下內(nèi)容

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>

設(shè)置mapred-site.xml
復(fù)制模板文件

sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

編輯mapred-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

將mapreduce框架改為yarn

<property><name>mapreduce.framework.name</name><value>yarn</value> </property>

設(shè)置hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml <property><name>dfs.replication</name><value>3</value> </property> <property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> <property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property>

創(chuàng)建并格式化HDFS目錄

創(chuàng)建NameNode數(shù)據(jù)存儲(chǔ)目錄

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

創(chuàng)建DataNode數(shù)據(jù)存儲(chǔ)目錄

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

修改hadoop目錄的所有者(你的主機(jī)名)

sudo chown hduser:hduser -R /usr/local/hadoop

將HDFS格式化（此語句有版本差異，如果執(zhí)行后報(bào)錯(cuò)，請(qǐng)安裝提示執(zhí)行正確的語句）

hdfs namenode -format

啟動(dòng)Hadoop

start-all.sh

查看NameNode，DataNode進(jìn)程是否啟動(dòng)

jps

打開瀏覽器分別輸入以下兩個(gè)網(wǎng)址都能正常打開代表hadoop單機(jī)偽分布式環(huán)境搭建成功
（Hadoop ResourceManager Web界面網(wǎng)址）
http://localhost:8088/
（Namenode HDFS Web 界面網(wǎng)址）
http://localhost:50070/

總結(jié)

以上是生活随笔為你收集整理的Hadoop环境搭建（全网最详细，保姆级教程）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。