🤗Hadoop第一章：認(rèn)識Hadoop與環(huán)境測試🤗

簡介：

Hadoop 是一個用 Java 語言實現(xiàn)的軟件框架，運行在 Linux 生產(chǎn)平臺上是非常理想的，同時也可以運行在其他平臺上，如“Windows”等 用戶可以輕松地在 Hadoop 上開發(fā)和運行處理海量數(shù)據(jù)的應(yīng)用程序。

它主要有以下 5 個優(yōu)點

• 高可靠性
• 高擴(kuò)展性
• 高效性
• 高容錯性
• 低成本

1、Java環(huán)境配置

下載包鏈接：

查詢JDK是否安裝

java javac

如果安裝移除即可

yum remove java -y

創(chuàng)建存儲文件夾【/opt/soft與/opt/data】備用

cd /opt mkdir soft mkdir data

上傳安裝包(放在opt下面，解壓出來后修改名稱為jdk方便操作)

進(jìn)入到【soft】文件夾下解壓安裝包

tar -zxvf jdk-8u161-linux-x64.tar.gz

解壓后查詢一下【ls】

為了操作方便，改一下文件夾名稱：

mv jdk1.8.0_161 jdk

效果：

將java的環(huán)境變量配置到【/etc/profile.d/hadoop-eco.sh】

/etc/profile.d/hadoop-eco.sh

配置腳本文件，并通過【:wq】進(jìn)行保存

JAVA_HOME=/opt/jdk PATH=$JAVA_HOME/bin:$PATH

?

通過【cat】命令進(jìn)行查驗：

cat /etc/profile.d/hadoop-eco.sh

執(zhí)行腳本

source /etc/profile.d/hadoop-eco.sh

java -version java javac

javac能執(zhí)行，代表肯定配置好了。

2、配置SSH免登陸?

ssh-keygen -t rsa

出現(xiàn)讓輸入就直接回車就行?

將秘鑰拷貝到本機(jī)

ssh-copy-id -i root@localhost

需要輸入【yes】與【root密碼】?

ssh驗證：

ssh 'root@localhost'

3、Hadoop安裝

上傳【Hadoop】的壓縮包到opt下，并解壓

tar -zxvf hadoop-2.7.3.tar.gz

為了操作方便，更換名稱：

mv hadoop-2.7.3 hadoop

繼續(xù)編輯【vi /etc/profile.d/hadoop-eco.sh】文件：

HADOOP_HOME=/opt/hadoop PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

執(zhí)行腳本：

source /etc/profile.d/hadoop-eco.sh

手動創(chuàng)建工作目錄：

mkdir -p /opt/hadoop-record/name mkdir -p /opt/hadoop-record/secondary mkdir -p /opt/hadoop-record/data mkdir -p /opt/hadoop-record/tmp ls ls /opt/hadoop-record/

編寫配置六個文件：

1、修改【hadoop/etc/hadoop/hadoop-env.sh?】(JAVA_HOME)

vi hadoop/etc/hadoop/hadoop-env.sh

2、修改【yarn-env.sh】文件

vi hadoop/etc/hadoop/yarn-env.sh

3、 修改【core-site.xml】文件，在【configuration】節(jié)點下添加以下子節(jié)點信息

vi hadoop/etc/hadoop/core-site.xml

添加以下內(nèi)容，復(fù)制的時候注意，先輸入【i】再粘貼

<!-- 指定HDFS的通訊地址 --><property><name>fs.default</name><value>hdfs://localhost:9000</value></property><!-- 指定Hadoop運行時產(chǎn)生文件的存儲位置 --><property><name>hadoop.tmp.dir</name><value>file://opt/hadoop-record/tmp</value></property>

4、配置【hadoop/etc/hadoop/hdfs-site.xml】文件?

vi hadoop/etc/hadoop/hdfs-site.xml

在【configuration】節(jié)點下添加以下內(nèi)容:

<!-- 數(shù)據(jù)備份數(shù)量 --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:///opt/hadoop-record/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:///opt/hadoop-record/data</value></property>

5、配置【hadoop/etc/hadoop/mapred-site.xml.template】文件

由于需要的是xml文件，不是template文件，故而需要修改名稱。

mv hadoop/etc/hadoop/mapred-site.xml.template hadoop/etc/hadoop/mapred-site.xml

修改成功

編寫：

vi hadoop/etc/hadoop/mapred-site.xml

?輸入以下內(nèi)容：

<!-- mapreduce運行的平臺，默認(rèn)Local --><property><name>mapreduce.framework.name</name><value>yarn</value></property>

6、配置【yarn-site.xml】文件

vi hadoop/etc/hadoop/yarn-site.xml

添加以下編碼：

<!-- resourcemanager所在機(jī)器 --><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><!-- 所需要的服務(wù) --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

效果如下：

3、啟動Hadoop

格式化【namenode】

hdfs namenode -format

dfs啟動

start-dfs.sh jps

啟動yarn

start-yarn.sh jps

4、編寫測試文件：

cd /opt/data vi hello

通過【:wq】保存文件

上傳測試文件到根目錄：

hadoop fs -put hello /hello

cd /opt/hadoop/share/hadoop/mapreduce/ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /hello /out

運行完成：

hadoop fs -cat /out/part-r-00000

由于每個單詞都寫了一個，故而確認(rèn)分析正確，再次修改hello文件進(jìn)行測試

由于根目錄的hello文件已存在，換成hello1即可?

?

?out這里也加上一個【1】

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /hello1 /out1

機(jī)器說是24個，咱們自己數(shù)一數(shù)，發(fā)現(xiàn)的確是【24】個。

實驗完畢。

總結(jié)

以上是生活随笔為你收集整理的Hadoop快速入门——第一章、认识Hadoop的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。