當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

hadoop3.1.2 配置 3台完全分布式

發(fā)布時(shí)間：2025/3/15 编程问答 18 豆豆

生活随笔收集整理的這篇文章主要介紹了 hadoop3.1.2 配置 3台完全分布式小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

轉(zhuǎn)載鏈接：https://blog.csdn.net/qq_41045774/article/details/92851175

文章目錄

- 3設(shè)備用root賬戶
- 永久主機(jī)名設(shè)置
- 靜態(tài)ip地址
- 配置免密登錄
- Hadoop和Java的安裝加入環(huán)境變量
- 以下是master 6個(gè)文件配置
- 還有4個(gè)配置
- 主機(jī)格式化namenode
- slave1，slave2配置
- 在master主機(jī) 開啟集群
- **問題
默認(rèn)端口

3設(shè)備用root賬戶

三臺(tái)虛擬機(jī)：master，slave1，slave2
192.168.199.130 master
192.168.199.131 slave1
192.168.199.132 slave2

永久主機(jī)名設(shè)置

vi /etc/hostname 然后重啟
https://blog.csdn.net/u014204541/article/details/80761165

靜態(tài)ip地址

centos?https://mp.csdn.net/mdeditor/92839899

ubuntu?https://mp.csdn.net/mdeditor/93243251

配置免密登錄

去掉 127.0.開頭的和主機(jī)名的映射，不然Hadoop 拒絕遠(yuǎn)程 9000 端口訪問
https://blog.csdn.net/mzjwx/article/details/78547573
vim /etc/hosts
192.168.199.130 master
192.168.199.131 slave1
192.168.199.132 slave2
每臺(tái)設(shè)備都這樣操作一下

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master0
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2
每臺(tái)設(shè)備都這樣操作一下

Hadoop和Java的安裝加入環(huán)境變量

centos
[root@localhost hadoop-3.1.2]# vim /etc/profile

JAVA_HOME=/usr/local/software/jdk1.8.0_212 JRE_HOME=/usr/local/software/jdk1.8.0_212/jre CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export JAVA_HOME JRE_HOME CLASS_PATH PATH export JAVA_HOME=/usr/local/software/jdk1.8.0_212 export HADOOP_HOME=/usr/local/software/hadoop-3.1.2 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin#以下看情況添加 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

環(huán)境變量生效source /etc/profile
ubuntu vim ~/.barshrc source ~/.bashrc

以下是master 6個(gè)文件配置

cd /usr/local/software/hadoop-3.1.2
1 [root@cent hadoop-3.1.2]# vim etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/software/jdk1.8.0_212 export HADOOP_HOME=/usr/local/software/hadoop-3.1.2 export PATH=$PATH:/usr/local/software/hadoop-3.1.2/bin export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

2 vim etc/hadoop/core-site.xml 。。。和namenode有關(guān)
master是主機(jī)名，code1這里不改沒關(guān)系，表示只配置一個(gè)hdfs，即namenode，也可以配置2個(gè)hdfs,即code1會(huì)開啟一個(gè)namenode
這個(gè)hfds地址和hbase-site.xml中的一致

<configuration><property><name>fs.defaultFS</name><value>hdfs://master:8020</value> 文件系統(tǒng)默認(rèn)8020端口，hbase.rootdir同</property><property><name>io.file.buffer.size</name><value>131072</value></property>====下面不要設(shè)置了，存儲(chǔ)dfs下面的namenode和datanode的 tmp文件在開啟集群完畢后，就沒有了， ====若是DataNode節(jié)點(diǎn)沒起，都沒法找到tmp文件<property><name>hadoop.tmp.dir</name><value>/usr/local/softwre/hadoop-3.1.2/tmp</value></property> </configuration>

3 vim etc/hadoop/hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/software/hadoop-3.1.2/dfs/data</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/software/hadoop-3.1.2/dfs/name</value></property> </configuration>

``
4 vim etc/hadoop/mapred-site.xml

<property><name>mapreduce.framework.name</name><value>yarn</value></property>

5 vim etc/hadoop/yarn-site.xml 與MapReduce有關(guān)

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property> <name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property><property><name>mapreduce.application.classpath</name><value>/usr/local/software/hadoop-3.1.2/share/hadoop/mapreduce/*,/usr/local/software/hadoop-3.1.2/share/hadoop/mapreduce/lib/*</value></property>

6 [root@cent hadoop-3.1.2]# vim etc/hadoop/workers

slave1 ip 地址 slave2 ip地址

還有4個(gè)配置

[root@cent hadoop-3.1.2]# vim sbin/start-dfs.sh
[root@cent hadoop-3.1.2]# vim sbin/stop-dfs.sh

HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root

[root@cent hadoop-3.1.2]# vim sbin/start-yarn.sh
[root@cent hadoop-3.1.2]# vim sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root

主機(jī)格式化namenode

hadoop namenode -format

slave1，slave2配置

除了 [root@cent hadoop-3.1.2]# vim etc/hadoop/workers , vim etc/hadoop/mapred-site.xml, vim etc/hadoop/yarn-site.xml 不用配置。其他都要。也要主機(jī)格式化namenode

1、slave1，slave2可查[root@cent hadoop-3.1.2]# cd logs文件看報(bào)錯(cuò)
或者namenode 格式化看報(bào)錯(cuò)

2、slave: mv: 無法獲取"/usr/local/software/hadoop-3.1.2/logs/hadoop-root-nodemanager-slave.out.4" 的文件狀態(tài)(stat): 沒有那個(gè)文件或目錄，我把vim etc/hadoop/mapred-site.xml 配置刪了，就不報(bào)了。但一會(huì)又報(bào)了，抽風(fēng)了

在master主機(jī) 開啟集群

start-all.sh

jps檢查

主機(jī)如下
4210 NodeManager
4035 ResourceManager
3508 DataNode
25716 Jps
3764 SecondaryNameNode
3337 NameNode

slave如下
9936 Jps
9077 DataNode
9257 NodeManager

感謝?https://blog.csdn.net/qq_25863199/article/details/88791498

。
。

**問題

問題一格式化后，datanode起不來** .hadoop namenode多次格式化可能導(dǎo)致的問題
報(bào)錯(cuò)java.io.IOException: Incompatible clusterIDs in /usr/local/softwre/hadoop-3.1.2/tmp/dfs/data: namenode clusterID = CID-a36b2872-1780-4854-97c8-18c23a1bb054; datanode clusterID = CID-2c83826e-89bb-4397-b59d-a589381acf54
解決?https://blog.csdn.net/cl723401/article/details/82892703
有時(shí)hadoop-3.1.2只有tmpw文件，conf bin都沒了，等一會(huì)兒就有了

總結(jié)，datanode啟動(dòng)時(shí)會(huì)檢查并匹配namenode的版本文件里的clusterID，如果兩者不匹配，就會(huì)出現(xiàn)"Incompatible clusterIDs"的異常。
…格式化前，刪除hdfs的tmp文件，和儲(chǔ)存namenode和datanode的目錄，不然系統(tǒng)格式化后，不會(huì)自動(dòng)刪除格式化前的這些文件，還會(huì)生成新的這些文件，前后clusterID會(huì)沖突
https://www.cnblogs.com/wangshen31/p/9900987.html
https://www.cnblogs.com/neo98/articles/6305999.html
首先確認(rèn)下master和slave的hdfs-site.xml配置中的dfs.namenode.name.dir目錄下的current/VERSION文件是否一致，可以直接拷貝成一樣的，再重啟集群

cat /usr/local/software/hadoop-3.1.2/dfs/name/current/VERSION vim /usr/local/software/hadoop-3.1.2/dfs/data/current/VERSION data里的clusterID修改成namel里的clusterID

默認(rèn)端口

hadoop 9870
hbase? ?8020

總結(jié)

以上是生活随笔為你收集整理的hadoop3.1.2 配置 3台完全分布式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

分布式

上一篇： ORACLE日期时间函数大全(一)
下一篇： MPU6050开发 -- 进阶之I2C/