文章目錄

• • • • • • 1. 分布式集群規(guī)劃
          • 2. 數(shù)據(jù)清理
          • 3. 基礎環(huán)境準備
          • 4. 配置ip映射
          • 5. 時間同步
          • 6. SSH免密碼登錄完善
          • 7. 免密登錄驗證

1. 分布式集群規(guī)劃

偽分布集群搞定了以后我們來看一下真正的分布式集群是什么樣的

看一下這張圖，圖里面表示是三個節(jié)點，左邊這一個是主節(jié)點，右邊的兩個是從節(jié)點，hadoop集群是支持主從架構(gòu)的。

不同節(jié)點上面啟動的進程默認是不一樣的。

下面我們就根據(jù)圖中的規(guī)劃實現(xiàn)一個一主兩從的hadoop集群

環(huán)境準備：三個節(jié)點

主機名ip

bigdata01	192.168.92.100
bigdata02	192.168.92.101
bigdata03	192.168.92.102

注意：每個節(jié)點的基礎環(huán)境都要先配置好，先把ip、hostname、firewalld、ssh免密碼登錄、JDK這些基礎環(huán)境配置好

目前的節(jié)點數(shù)量是不夠的，按照第一周學習的內(nèi)容，通過克隆的方式創(chuàng)建多個節(jié)點，具體克隆的步驟在這就不再贅述了。

2. 數(shù)據(jù)清理

聲明：如果是新機器可以不清理，bigdata01這臺機器剛才演示過偽分布式，因此，需要做數(shù)據(jù)清理。

先把bigdata01中之前按照的hadoop刪掉，刪除解壓的目錄，修改環(huán)境變量即可。

注意：我們需要把bigdata01節(jié)點中/data目錄下的hadoop_repo目錄和/data/soft下的hadoop-3.2.0目錄刪掉，恢復此節(jié)點的環(huán)境，這里面記錄的有之前偽分布集群的一些信息。

[root@bigdata01 ~]# rm -rf /data/soft/hadoop-3.2.0 [root@bigdata01 ~]# rm -rf /data/hadoop_repo

假設我們現(xiàn)在已經(jīng)具備三臺linux機器了，里面都是全新的環(huán)境。

3. 基礎環(huán)境準備

下面開始操作。

注意：針對這三臺機器的ip、hostname、firewalld、JDK這些基礎環(huán)境的配置步驟在這里就不再記錄了，具體步驟參考偽分布式中的步驟。

這些基礎環(huán)境配置好以后還沒完，還有一些配置需要完善。

4. 配置ip映射

配置/etc/hosts
因為需要在主節(jié)點遠程連接兩個從節(jié)點，所以需要讓主節(jié)點能夠識別從節(jié)點的主機名，使用主機名遠程訪問，默認情況下只能使用ip遠程訪問，想要使用主機名遠程訪問的話需要在節(jié)點的/etc/hosts文件中配置對應機器的ip和主機名信息。

所以在這里我們就需要在bigdata01的/etc/hosts文件中配置下面信息，最好把當前節(jié)點信息也配置到里面，這樣這個文件中的內(nèi)容就通用了，可以直接拷貝到另外兩個從節(jié)點

[root@bigdata01 ~]# vi /etc/hosts 192.168.92.100 bigdata01 192.168.92.101 bigdata02 192.168.92.102 bigdata03

修改bigdata02的/etc/hosts文件

[root@bigdata02 ~]# vi /etc/hosts 192.168.92.100 bigdata01 192.168.92.101 bigdata02 192.168.92.102 bigdata03

修改bigdata03的/etc/hosts文件

[root@bigdata03 ~]# vi /etc/hosts 192.168.92.100 bigdata01 192.168.92.101 bigdata02 192.168.92.102 bigdata03

5. 時間同步

集群節(jié)點之間時間同步
集群只要涉及到多個節(jié)點的就需要對這些節(jié)點做時間同步，如果節(jié)點之間時間不同步相差太多，會應該集群的穩(wěn)定性，甚至導致集群出問題。

首先在bigdata01節(jié)點上操作

使用ntpdate -u ntp.sjtu.edu.cn實現(xiàn)時間同步，但是執(zhí)行的時候提示找不到ntpdata命令

[root@bigdata01 ~]# ntpdate -u ntp.sjtu.edu.cn -bash: ntpdate: command not found

默認是沒有ntpdate命令的，需要使用yum在線安裝，執(zhí)行命令

yum install -y ntpdate

然后手動執(zhí)行ntpdate -u ntp.sjtu.edu.cn 確認是否可以正常執(zhí)行

[root@bigdata01 ~]# ntpdate -u ntp.sjtu.edu.cn

建議把這個同步時間的操作添加到linux的crontab定時器中，每分鐘執(zhí)行一次

[root@bigdata01 ~]# vi /etc/crontab * * * * * root /usr/sbin/ntpdate -u ntp.sjtu.edu.cn

然后在bigdata02和bigdata03節(jié)點上配置時間同步

在bigdata02節(jié)點上操作

[root@bigdata02 ~]# yum install -y ntpdate [root@bigdata02 ~]# vi /etc/crontab * * * * * root /usr/sbin/ntpdate -u ntp.sjtu.edu.cn

在bigdata03節(jié)點上操作

[root@bigdata03 ~]# yum install -y ntpdate [root@bigdata03 ~]# vi /etc/crontab * * * * * root /usr/sbin/ntpdate -u ntp.sjtu.edu.cn

6. SSH免密碼登錄完善

注意：針對免密碼登錄，目前只實現(xiàn)了自己免密碼登錄自己，最終需要實現(xiàn)主機點可以免密碼登錄到所有節(jié)點，所以還需要完善免密碼登錄操作。

首先在bigdata01機器上執(zhí)行下面命令，將公鑰信息拷貝到兩個從節(jié)點

[root@bigdata01 ~]# scp ~/.ssh/authorized_keys bigdata02:~/ The authenticity of host 'bigdata02 (192.168.92.101)' can't be established. ECDSA key fingerprint is SHA256:OkPdWB6Qbl6dbKtaCWEsnueYoZ1E6jTMswu1gB5e8Wg. ECDSA key fingerprint is MD5:fa:46:3c:5c:86:b3:6e:36:86:2c:94:8c:5d:a8:83:fc. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'bigdata02,192.168.92.101' (ECDSA) to the list of known hosts. root@bigdata02's password: authorized_keys 100% 396 197.0KB/s 00:00 You have mail in /var/spool/mail/root [root@bigdata01 ~]# scp ~/.ssh/authorized_keys bigdata03:~/ The authenticity of host 'bigdata03 (192.168.92.102)' can't be established. ECDSA key fingerprint is SHA256:OkPdWB6Qbl6dbKtaCWEsnueYoZ1E6jTMswu1gB5e8Wg. ECDSA key fingerprint is MD5:fa:46:3c:5c:86:b3:6e:36:86:2c:94:8c:5d:a8:83:fc. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'bigdata03,192.168.92.102' (ECDSA) to the list of known hosts. root@bigdata03's password: authorized_keys 100% 396 305.2KB/s 00:00 [root@bigdata01 ~]#

然后在bigdata02和bigdata03上執(zhí)行
bigdata02：

[root@bigdata02 ~]# cat ~/authorized_keys >> ~/.ssh/authorized_keys

bigdata03:

[root@bigdata03 ~]# cat ~/authorized_keys >> ~/.ssh/authorized_keys

7. 免密登錄驗證

驗證一下效果，在bigdata01節(jié)點上使用ssh遠程連接兩個從節(jié)點，如果不需要輸入密碼就表示是成功的，此時主機點可以免密碼登錄到所有節(jié)點。

[root@bigdata01 ~]# ssh bigdata02 Last login: Sat Jul 3 18:53:32 2021 from 192.168.92.1 [root@bigdata02 ~]# exit logout Connection to bigdata02 closed. [root@bigdata01 ~]# ssh bigdata03 Last login: Sat Jul 3 18:53:34 2021 from 192.168.92.1 [root@bigdata03 ~]# exit logout Connection to bigdata03 closed. [root@bigdata01 ~]#

有沒有必要實現(xiàn)從節(jié)點之間互相免密碼登錄呢？

這個就沒有必要了，因為在啟動集群的時候只有主節(jié)點需要遠程連接其它節(jié)點。

OK，那到這為止，集群中三個節(jié)點的基礎環(huán)境就都配置完畢了，接下來就需要在這三個節(jié)點中安裝Hadoop了。

總結(jié)

以上是生活随笔為你收集整理的Hadoop集群安装部署_分布式集群安装_01的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。