hadoop配置、測試和實例

• 0 環境
• 1 配置網絡
• 2 卸載和安裝JDK
• 4 配置hadoop
• • 4.1 前提
  • 4.2 修改配置文件
  • 4.3 配置環境
  • 4.4 初始化HDFS
  • 4.5 啟動hadoop
  • 4.6 登錄
• 5 測試hadoop
• 6 hadoop實例：統計單詞頻數
• • 6.1 編程實現
  • • 6.1.1 安裝eclipse
    • 6.1.2 JAVA編程
    • 6.1.3 上傳文件
    • 6.1.4 運行程序
  • 6.2 hadoop自帶工具
• 7 刪除文件
• 8 散記

有轉別人的，會標明

0 環境

• jdk1.8.0_221
• hadoop-2.7.7
• centos 7.7（NAT模式）

jdk1.8.0_191+hadoop-3.3.0不行

1 配置網絡

NAT模式
參考我家zoxiii寫的網絡配置步驟👉傳送門

vim /etc/sysconfig/network-scripts/ifcfg-ens33

虛擬網絡IP

BOOTPROTO="static"IPADDR=192.168.10.110 GATEWAY=192.168.10.2 NETMASK=255.255.255.0 DNS1=192.168.10.2 DNS2=114.114.114.114

• 修改hostname和hosts

vi /etc/hostname vi /etc/hosts

• 重啟網絡

service network restart

• 查看hostname

hostname hostname -i

2 卸載和安裝JDK

JDK下載 提取碼：0818

• 查詢

rpm -qa | grep java -i

• 刪除

rpm -e --nodeps 查詢到的java

• 安裝

cd /root mkdir /usr/local/src/jdk cp jdk-8u221-linux-x64.tar.gz /usr/local/src/jdk/ rm -f jdk-8u221-linux-x64.tar.gz cd /usr/local/src/jdk tar -zxvf jdk-8u221-linux-x64.tar.gz rm -f jdk-8u221-linux-x64.tar.gz vim /etc/profile export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_221 export PATH=$PATH:$JAVA_HOME/bin

• 環境立即生效

source /etc/profile

• 查看

java -version

4 配置hadoop

4.1 前提

hadoop下載 提取碼：0818

• 安裝

cd /root mkdir /usr/local/src/hadoop cp hadoop-2.7.7.tar.gz /usr/local/src/hadoop/ rm -f hadoop-2.7.7.tar.gz cd /usr/local/src/hadoop tar -zxvf hadoop-2.7.7.tar.gz rm -f hadoop-2.7.7.tar.gz

• 創建文件夾

cd /usr/local/src/hadoop/hadoop-2.7.7 mkdir hdfs mkdir tmp cd hdfs mkdir data mkdir name

4.2 修改配置文件

傳送門

4.3 配置環境

vim /etc/profile export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_221 export HADOOP_HOME=/usr/local/src/hadoop/hadoop-2.7.7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

• 查看hadoop版本

hadoop version

4.4 初始化HDFS

• 初始化HDFS

hdfs namenode -format

4.5 啟動hadoop

• 啟動Hadoop

cd /usr/local/src/hadoop/hadoop-2.7.7/sbin ./start-dfs.sh ./start-yarn.sh

• 查看進程

jps

6個進程！！！

• 關閉防火墻

firewall-cmd --state systemctl stop firewalld.service

4.6 登錄

192.168.10.110:50070 #hdfs 192.168.10.110:8088 #yarn

5 測試hadoop

傳送門

6 hadoop實例：統計單詞頻數

6.1 編程實現

6.1.1 安裝eclipse

eclipse下載 提取碼：0818

mkdir /usr/local/src/eclipse cd /root cp eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gz /usr/local/src/eclipse/ rm -f eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gz cd /usr/local/src/eclipse tar -zxvf eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gz cd eclipse # 然后運行eclipse ./eclipse

6.1.2 JAVA編程

參考大佬寫的👉傳送門

創建JAVA工程并導入Hadoop所需jar包
傳送門

JAVA類
傳送門

導出jar包
傳送門

6.1.3 上傳文件

• 上傳文件wordTest.txt

hadoop fs -put wordTest.txt hdfs://localhost:9000/wordTest.txt

• 查看文件

hadoop fs -ls /

6.1.4 運行程序

• 運行WordCount.jar，將結果上傳到/WCResult

time hadoop jar WordCount.jar [包名.]WordCount /wordTest.txt /WCResult # hadoop前加上time可獲得時間

• 查看結果

hadoop fs -ls /WCResult/ hadoop fs -cat /WCResult/part-r-00000

6.2 hadoop自帶工具

• 查看之前已上傳的文件

hadoop fs -ls / hadoop fs -cat /wordTest.txt

• 找所需jar包

cd $HADOOP_HOME/share/hadoop/mapreduce ls

• 運用找到的jar包

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /wordTest.txt /WCResultAuto

• 查看結果

hadoop fs -ls /WCResultAuto/ hadoop fs -cat /WCResultAuto/part-r-00000

7 刪除文件

hadoop fs -rm -r /要刪除的文件

8 散記

• hadoop命令如果找不到，試一試：

./bin/hadoop

• 每次都要關閉防火墻，并啟動Hadoop

總結

以上是生活随笔為你收集整理的【大数据实验2】hadoop配置、测试和实例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。