1.環(huán)境準(zhǔn)備

系統(tǒng)版本：CentOS7.5

主機(jī)名：node01

hadoop3.1?的下載地址： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz? jdk8 rpm包下載地址：https://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.rpm

2.配置jdk的環(huán)境變量

2.1編輯/etc/profile?

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64 export JRE_HOME=$JAVA_HOME/jre export PAHT=$PATH:JAVA_HOME/bin:$JRE_HOME/bin export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

2.2使得配置生效

source /etc/profile

3.安裝部署hadoop

3.1解壓hadoop到/opt?目錄下

cd /software
tar xf hadoop-3.1.1.tar.gz -C /opt/

3.2切換到hadoop配置文件目錄

cd /opt/hadoop-3.1.1/etc/hadoop/

3.3修改hadoop的環(huán)境配置文件hadoop-env.sh

# 配置文件末尾添加下面變量 export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root

3.4修改core-site.xml配置文件

<configuration><property><name>fs.defaultFS</name><value>hdfs://node01:9000</value></property>#用于namenode 以及元數(shù)據(jù)存放在tmp目錄下，更改存放到/var/hadoop/peseudo<property><name>hadoop.tmp.dir</name><value>/var/hadoop/peseudo</value></property> </configuration>

3.5修改hdfs-site.xml配置

<configuration><property><name>dfs.replication</name> #代表副本<value>1</value></property><property><name>dfs.namenode.secondary.http-address</name> #代表副本<value>node01:9868</value></property> </configuration>

?

3.6修改workers配置

在2.x版本中workers對(duì)應(yīng)的是slave文件，寫上對(duì)應(yīng)的從節(jié)點(diǎn)的hostname，由于是偽分布式部署，從節(jié)點(diǎn)只有一個(gè)node01 vi workers node01 #localhost改成你的主機(jī)名

3.7執(zhí)行格式化namenode

# cd /opt/hadoop-3.1.1 # ./bin/hdfs namenode -format 2018-12-12 22:14:40,004 INFO common.Storage: Storage directory /var/hadoop/peseudo/dfs/name has been successfully formatted. 2018-12-12 22:14:40,025 INFO namenode.FSImageFormatProtobuf: Saving image file /var/hadoop/peseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression 2018-12-12 22:14:40,162 INFO namenode.FSImageFormatProtobuf: Image file /var/hadoop/peseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 389 bytes saved in 0 seconds . 2018-12-12 22:14:40,177 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 2018-12-12 22:14:40,186 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at node01/10.10.0.11 ************************************************************/ #看到上面的輸出successfully?formatted?表示格式化成功。

3.8查看生成的數(shù)據(jù)信息

一個(gè)集群中的clusterID是一樣的。

3.9啟動(dòng)集群

./sbin/start-dfs.sh 通過jsp命令查看在一個(gè)節(jié)點(diǎn)上的所有集群中的角色都啟動(dòng)起來了。 #查看9870端口 瀏覽器輸入： 點(diǎn)擊livenode 訪問文件系統(tǒng) 現(xiàn)在根目錄為空

4.hdfs客戶端使用

使用客戶端創(chuàng)建目錄 ./bin/hdfs dfs -mkdir /temp 網(wǎng)頁上驗(yàn)證是否創(chuàng)建成功 使用hdfs客戶端上傳文件 ./bin/hdfs dfs -put /software/hadoop-3.1.1.tar.gz /temp 將本地的hadoop安裝包上傳到hdfs中 有一個(gè)副本，文件總大小319.06MB,塊大小128MB 發(fā)現(xiàn)該文件被切成了3個(gè)block塊 后臺(tái)查看物理位置

轉(zhuǎn)載于:https://www.cnblogs.com/benjamin77/p/10108646.html

總結(jié)

以上是生活随笔為你收集整理的hadoop3.1伪分布式部署的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。