當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

六十.完全分布式、节点管理、 NFS网关

發布時間：2025/7/14 编程问答 26 豆豆

生活随笔收集整理的這篇文章主要介紹了六十.完全分布式、节点管理、 NFS网关小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1.安裝與部署對mapred和yarn文件進行配置驗證訪問Hadoop 在六十準備好的環境下給master （nn01）主機添加ResourceManager的角色，在node1，node2，node3上面添加NodeManager的角色 1.1 安裝與部署hadoop 1）配置mapred-site（nn01上面操作） nn01 ~]# cd /usr/local/hadoop/etc/hadoop/ hadoop]# mv mapred-site.xml.template mapred-site.xml hadoop]# vim mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 2）配置yarn-site（nn01上面操作） hadoop]# vim yarn-site.xml <configuration>  <property> <name>yarn.resourcemanager.hostname</name> <value>nn01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 3）同步配置（nn01上面操作） hadoop]# for i in {22..24}; do rsync -aSH --delete /usr/local/hadoop/ 192.168.1.$i:/usr/local/hadoop/ ?-e 'ssh' & done [1] 712 [2] 713 [3] 714 4）驗證配置（nn01上面操作） hadoop]# cd /usr/local/hadoop hadoop]# ./sbin/start-dfs.sh Starting namenodes on [nn01]... hadoop]# ./sbin/start-yarn.sh ...out... hadoop]# jps ? ? ? ? ? ? ? ? ? ? ? ? ? //nn01查看有ResourceManager 10707 NameNode 11748 Jps 11484 ResourceManager 10894 SecondaryNameNode hadoop]# ssh node1(2,3) jps //node1查看有NodeManager 10368 Jps 10262 NodeManager 10073 DataNode 5）web訪問hadoop http://192.168.1.21:50070/ ? ? ?//--namenode web頁面（nn01） http://192.168.1.21:50090/ ? ? ?//--secondory namenode web頁面（nn01） http://192.168.1.22:50075/ ? ? ?//--datanode web頁面（node1,node2,node3） http://192.168.1.21:8088/ ? ? ?//--resourcemanager web頁面（nn01） http://192.168.1.22:8042/ ? ? ?//--nodemanager web頁面（node1,node2,node3） 2. Hadoop詞頻統計在集群文件系統里創建文件夾上傳要分析的文件到目錄中分析上傳文件展示結果 2.1 詞頻統計 hadoop]# ./bin/hadoop fs -ls / ?//查看集群文件系統的根，沒有內容 hadoop]# ./bin/hadoop fs -mkdir /aaa //在集群文件系統下創建aaa目錄 hadoop]# ./bin/hadoop fs -ls / ? ?//再次查看，有剛創建的aaa目錄 Found 1 items drwxr-xr-x ? - root supergroup ? 0 2019-03-02 18:08 /aaa hadoop]# ./bin/hadoop fs -touchz /fa ? ?//在集群文件系統下創建fa文件 "-touchz" hadoop]# ./bin/hadoop fs -put *.txt /aaa ? ?? //上傳*.txt到集群文件系統下的aaa目錄 hadoop]# ./bin/hadoop fs -ls /aaa/ ? ?//查看 Found 3 items -rw-r--r-- ?2 root supergroup ? 86424 2019-03-02 18:09 /aaa/LICENSE.txt -rw-r--r-- ?2 root supergroup ? 14978 2019-03-02 18:09 /aaa/NOTICE.txt -rw-r--r-- ?2 root supergroup ? ?1366 2019-03-02 18:09 /aaa/README.txt hadoop]# ./bin/hadoop fs -get /aaa ?//下載集群文件系統的aaa目錄 hadoop]# ls (nn01本地有下載的aaa文件夾） //分析hadoop集群/aaa里的數據存到hadoop集群/bbb下 hadoop]# ./bin/hadoop jar \ share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount /aaa /bbb ? ? //查看集群里的數據,統計出現的次數 hadoop]# ./bin/hadoop fs -cat /bbb/* 3. 節點管理增加一個新的節點查看狀態刪除節點另外準備兩臺主機，node4和nfsgw，作為新添加的節點和網關

3.1 增加節點

1）增加一個新的節點node4
node4 ~]# yum -y install rsync
node4 ~]# yum -y install java-1.8.0-openjdk-devel
node4 ~]# mkdir /var/hadoop
nn01 ~]# ssh-copy-id 192.168.1.25

nn01 ~]# vim /etc/hosts
192.168.1.21 nn01
192.168.1.22 node1
192.168.1.23 node2
192.168.1.24 node3
192.168.1.25 node4
nn01 ~]# scp /etc/hosts 192.168.1.25:/etc/

nn01 ~]# cd /usr/local/hadoop/
hadoop]# vim ./etc/hadoop/slaves
node1
node2
node3
node4

//同步配置 (jobs -l 確保node4同步完成！）
hadoop]# for i in {22..25}; do rsync -aSH --delete /usr/local/hadoop/ \
192.168.1.$i:/usr/local/hadoop/ -e 'ssh' & done
[1] 12375
[2] 12376
[3] 12377
[4] 12378
node4 hadoop]# ./sbin/hadoop-daemon.sh start datanode //node4啟動

2）查看狀態
node4 hadoop]# jps
12470 Jps
12396 DataNode

3）設置同步帶寬 #其他NN將數據勻一部分過來，勻數據的時候不能占用所有帶寬
node4 hadoop]# ./bin/hdfs dfsadmin -setBalancerBandwidth 60000000
Balancer bandwidth is set to 60000000
node4 hadoop]# ./sbin/start-balancer.sh
starting balancer...
nn01 hadoop]# ./bin/hdfs dfsadmin -report #查看狀態
Live datanodes (4):...(有node4)

4）刪除節點
nn01 hadoop]# vim /usr/local/hadoop/etc/hadoop/slaves
//去掉之前添加的node4
node1
node2
node3

nn01 hadoop]# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
//在此配置文件里面加入下面四行
...
<property>
? ? ? ? <name>dfs.hosts.exclude</name>
? ? ? ? <value>/usr/local/hadoop/etc/hadoop/exclude</value>
</property>
nn01 hadoop]# vim /usr/local/hadoop/etc/hadoop/exclude
node4

5）導出數據
nn01 hadoop]# ./bin/hdfs dfsadmin -refreshNodes
Refresh nodes successful

nn01 hadoop]# ./bin/hdfs dfsadmin -report ?#等待
//查看node4，不要動機器，等待node4顯示Decommissioned

Dead datanodes (1):
Name: 192.168.1.25:50010 (node4)
Hostname: node4
Decommission Status : Decommissioned... #顯示Decommissioned 才可以

node4 hadoop]# ./sbin/hadoop-daemon.sh stop datanode //停止datanode
stopping datanode

node4 hadoop]# ./sbin/yarn-daemon.sh start nodemanager
//yarn 增加 nodemanager
node4 hadoop]# jps
10342 NodeManager
10446 Jps

node4 hadoop]# ./sbin/yarn-daemon.sh stop nodemanager //停止nodemanager
stopping nodemanager ?#jps 將沒有NodeManager

node4 hadoop]# ./bin/yarn node -list
//yarn 查看節點狀態，還是有node4節點，要過一段時間才會消失
19/03/02 18:40:27 INFO client.RMProxy: Connecting to ResourceManager at nn01/192.168.1.21:8032
Total Nodes:4
Node-Id Node-StateNode-Http-AddressNumber-of-Running-Containers
node2:36669 RUNNING node2:8042 0
node4:38698 RUNNING node4:8042 0
node3:36146 RUNNING node3:8042 0
node1:34124 RUNNING node1:8042 0

4.NFS配置
創建代理用戶
啟動一個新系統，禁用Selinux和firewalld
配置NFSWG
啟動服務
掛載NFS并實現開機自啟

4.1 基礎準備

1）更改主機名，配置/etc/hosts（/etc/hosts在nn01和nfsgw上面配置）
localhost ~]# echo nfsgw > /etc/hostname
localhost ~]# hostname nfsgw

nn01 ~]# ssh-copy-id 192.168.1.26

nn01 hadoop]# vim /etc/hosts
192.168.1.21 nn01
192.168.1.22 node1
192.168.1.23 node2
192.168.1.24 node3
192.168.1.25 node4
192.168.1.26 nfsgw

2）創建代理用戶（nn01和nfsgw上面操作），以nn01為例子
nn01 hadoop]# groupadd -g 200 nfs
nn01 hadoop]# useradd -u 200 -g nfs nfs

3）配置core-site.xml
nn01 hadoop]# ./sbin/stop-all.sh //停止所有服務
This script ...

nn01 hadoop]# cd etc/hadoop
nn01 hadoop]# >exclude
nn01 hadoop]# vim core-site.xml #添加
<property>
? ? ?<name>hadoop.proxyuser.nfs.groups</name>
? ? ?<value>*</value>
</property>
<property>
? ? ? <name>hadoop.proxyuser.nfs.hosts</name>
? ? ? <value>*</value>
</property>

4）同步配置到node1，node2，node3
nn01 hadoop]# for i in {22..24}; do rsync -aSH --delete /usr/local/hadoop/ 192.168.1.$i:/usr/local/hadoop/ -e 'ssh' & done
[4] 2722
[5] 2723
[6] 2724 #jobs -l 確保同步完成！

5）啟動集群
nn01 hadoop]# /usr/local/hadoop/sbin/start-dfs.sh

6）查看狀態
nn01 hadoop]# /usr/local/hadoop/bin/hdfs dfsadmin -report
Live datanodes (3):... #恢復到3

4.2 NFSGW配置

1）安裝java-1.8.0-openjdk-devel和rsync
nfsgw ~]# yum -y install java-1.8.0-openjdk-devel
nfsgw ~]# yum -y install rsync

nn01 hadoop]# rsync -avSH --delete \
/usr/local/hadoop/ 192.168.1.26:/usr/local/hadoop/ -e 'ssh'

2）創建數據根目錄 /var/hadoop（在NFSGW主機上面操作）
nfsgw ~]# mkdir /var/hadoop

3）創建轉儲目錄，并給用戶nfs 賦權
nfsgw ~]# mkdir /var/nfstmp
nfsgw ~]# chown nfs:nfs /var/nfstmp

4）給/usr/local/hadoop/logs賦權（在NFSGW主機上面操作）
nfsgw ~]# setfacl -m u:nfs:rwx /usr/local/hadoop/logs
nfsgw ~]# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml #新添加
<property>
? ? ? <name>nfs.exports.allowed.hosts</name>
? ? ? <value>* rw</value>
</property>
<property>
? ? ? <name>nfs.dump.dir</name>
? ? ? <value>/var/nfstmp</value>
</property>

5）可以創建和刪除即可
nfsgw ~]# su - nfs
nfsgw ~]$ cd /var/nfstmp/
nfsgw nfstmp]$ touch 1
nfsgw nfstmp]$ ls
1
nfsgw nfstmp]$ rm -rf 1
nfsgw nfstmp]$ ls

nfsgw nfstmp]$ cd /usr/local/hadoop/logs/
nfsgw logs]$ touch 1
nfsgw logs]$ ls
1 hadoop-root-secondarynamenode-nn01.log
hadoop-root-datanode-nn01.log hadoop-root-secondarynamenode-nn01.out
hadoop-root-datanode-nn01.out hadoop-root-secondarynamenode-nn01.out.1
hadoop-root-namenode-nn01.log SecurityAuth-root.audit
hadoop-root-namenode-nn01.out yarn-root-resourcemanager-nn01.log
hadoop-root-namenode-nn01.out.1 yarn-root-resourcemanager-nn01.out

nfsgw logs]$ rm -rf 1
nfsgw logs]$ ls

6）啟動服務
nfsgw ~]# /usr/local/hadoop/sbin/hadoop-daemon.sh --script ./bin/hdfs start portmap
//portmap服務只能用root用戶啟動
starting portmap, logging to /usr/local/hadoop/logs/hadoop-root-portmap-nfsgw.out

nfsgw ~]# jps
1091 Jps
1045 Portmap

nfsgw ~]# su - nfs
nfsgw ~]$ cd /usr/local/hadoop/
nfsgw hadoop]$ ./sbin/hadoop-daemon.sh --script ./bin/hdfs start nfs3
//nfs3只能用代理用戶啟動
tarting nfs3, logging to /usr/local/hadoop/logs/hadoop-nfs-nfs3-nfsgw.out

nfsgw hadoop]$ jps
1139 Nfs3
1192 Jps

nfsgw hadoop]# jps //root用戶執行可以看到portmap和nfs3
1139 Nfs3
1204 Jps
1045 Portmap

7）實現客戶端掛載（客戶端可以用node4這臺主機）
node4 ~]# rm -rf /usr/local/hadoop
node4 ~]# yum -y install nfs-utils
node4 ~]# mount -t nfs -o \
vers=3,proto=tcp,nolock,noatime,sync,noacl 192.168.1.26:/ /mnt/
//掛載 ?df -h 查看

node4 ~]# cd /mnt/
node4 mnt]# ls
aaa bbb fa system tmp
node4 mnt]# touch a
node4 mnt]# ls
a aaa bbb fa system tmp
node4 mnt]# rm -rf a
node4 mnt]# ls
aaa bbb fa system tmp

8）實現開機自動掛載
node4 ~]# vim /etc/fstab
192.168.1.26:/ /mnt/ nfs vers=3,proto=tcp,nolock,noatime,sync,noacl,_netdev 0 0
node4 ~]# mount -a
node4 ~]# df -h
192.168.1.26:/ 80G 8.2G 72G 11% /dvd

node4 ~]# rpcinfo -p 192.168.1.26
program vers proto port service
100005 3 udp 4242 mountd
100005 1 tcp 4242 mountd
100000 2 udp 111 portmapper
100000 2 tcp 111 portmapper
100005 3 tcp 4242 mountd
100005 2 tcp 4242 mountd
100003 3 tcp 2049 nfs
100005 2 udp 4242 mountd
100005 1 udp 4242 mountd

############################ 知識點整理：

01：Yarn:集群資源管理系統（核心組件，集群資源管理系統）
MapReduce結構分布式計算框架
02:(NFS)節點管理增加刪除修復
03：Yarn節點管理（NodeManager) 增加刪除
04：NFS網關（HDFS client + NFS server）
訪問HDFS文件系統必須是HDFS客戶端
將HDFS文件系統mount到本地（使用NFSv3協議，任何機器直接能掛載）
外部客戶端要訪問 HDFS文件系統，通過NFS網關，采用NFS掛載的方式，NFS網關將NFS指令轉化為HDFS客戶端的指令，發給HDFS client，以HDFS客戶端的方式訪問后端HDFS文件系統，NFS網關起到代理轉發的作用。

#######################

轉載于:https://www.cnblogs.com/luwei0915/p/10496585.html

總結

以上是生活随笔為你收集整理的六十.完全分布式、节点管理、 NFS网关的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

编程问答

六十.完全分布式 、 节点管理 、 NFS网关

總結

六十.完全分布式、节点管理、 NFS网关