文章目錄

• • • • • 一、配置基礎環境
        • • 1. 設置靜態ip
          • 2. hostname
          • 3. firewalld
          • 4. ssh免密碼登錄
          • 5. JDK

一、配置基礎環境

1. 設置靜態ip

[root@bigdata01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO="static" IPADDR=192.168.92.100 GATEWAY=192.168.92.2 DNS1=192.168.92.2 [root@bigdata01 ~]# service network restart Restarting network (via systemctl): [ OK ] [root@localhost ~]# ip addrens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state inet 192.168.92.100/24 brd 192.168.92.255 scope global noprefixroute ens3 [root@localhost ~]#

2. hostname

hostname：設置臨時主機名和永久主機名 [root@bigdata01 ~]# hostname bigdata01 [root@bigdata01 ~]# vi /etc/hostname bigdata01

3. firewalld

firewalld：臨時關閉防火墻+永久關閉防火墻[root@bigdata01 ~]# systemctl stop firewalld [root@bigdata01 ~]# systemctl disable firewalld

4. ssh免密碼登錄

在這需要大致講解一下ssh的含義，ssh 是secure shell，安全的shell，通過ssh可以遠程登錄到遠程linux機器。

我們下面要講的hadoop集群就會使用到ssh，我們在啟動集群的時候只需要在一臺機器上啟動就行，然后hadoop會通過ssh連到其它機器，把其它機器上面對應的程序也啟動起來。

但是現在有一個問題，就是我們使用ssh連接其它機器的時候會發現需要輸入密碼，所以現在需要實現ssh免密碼登錄。

那有同學可能有疑問了，你這里說的多臺機器需要配置免密碼登錄，但是我們現在是偽分布集群啊，只有一臺機器

注意了，不管是幾臺機器的集群，啟動集群中程序的步驟都是一樣的，都是通過ssh遠程連接去操作，就算是一臺機器，它也會使用ssh自己連自己，我們現在使用ssh自己連自己也是需要密碼的。

[root@localhost ~]# ssh bigdata01 The authenticity of host 'bigdata01 (192.168.92.100)' can't be established. ECDSA key fingerprint is SHA256:OkPdWB6Qbl6dbKtaCWEsnueYoZ1E6jTMswu1gB5e8Wg. ECDSA key fingerprint is MD5:fa:46:3c:5c:86:b3:6e:36:86:2c:94:8c:5d:a8:83:fc. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'bigdata01,192.168.92.100' (ECDSA) to the list of known hosts. root@bigdata01's password: 【這里需要輸入密碼】 Last failed login: Sat Jul 3 05:54:45 CST 2021 from bigdata01 on ssh:notty There was 1 failed login attempt since the last successful login. Last login: Sat Jul 3 05:20:20 2021 from 192.168.92.1 [root@bigdata01 ~]#

下面詳細講一下ssh免密碼登錄 ssh這種安全/加密的shell，使用的是非對稱加密，加密有兩種，對稱加密和非對稱加密。非對稱加密的解密過程是不可逆的，所以這種加密方式比較安全。

非對稱加密會產生秘鑰，秘鑰分為公鑰和私鑰，在這里公鑰是對外公開的，私鑰是自己持有的。

那么ssh通信的這個過程是，第一臺機器會把自己的公鑰給到第二臺機器，

當第一臺機器要給第二臺機器通信的時候，

第一臺機器會給第二臺機器發送一個隨機的字符串，第二臺機器會使用公鑰對這個字符串加密，

同時第一臺機器會使用自己的私鑰也對這個字符串進行加密，然后也傳給第二臺機器

這個時候，第二臺機器就有了兩份加密的內容，一份是自己使用公鑰加密的，一份是第一臺機器使用私鑰加密傳過來的，公鑰和私鑰是通過一定的算法計算出來的，這個時候，第二臺機器就會對比這兩份加密之后的內容是否匹配。如果匹配，第二臺機器就會認為第一臺機器是可信的，就允許登錄。如果不相等 就認為是非法的機器。

下面就開始正式配置一下ssh免密碼登錄，由于我們這里要配置自己免密碼登錄自己，所以第一臺機器和第二臺機器都是同一臺

首先在bigdata01上執行 ssh-keygen -t rsa

rsa表示的是一種加密算法

注意：執行這個命令以后，需要連續按 4 次回車鍵回到 linux 命令行才表示這個操作執行 結束，在按回車的時候不需要輸入任何內容。

[root@bigdata01 ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: SHA256:rL9D/qe+VntaQZABHcMLOkDy3FisEvqkIGg7znSbyQo root@bigdata01 The key's randomart image is: +---[RSA 2048]----+ | ..... .+=+ | | .+.+. . +o | |. . .+o.. . .. | |+.. o ..o .. | |o..+ . S. . | | +... .. . . | |E + + .o . .. | |.o = .o . o.. | | .. o*=+.o | +----[SHA256]-----+ [root@bigdata01 ~]#

執行以后會在~/.ssh目錄下生產對應的公鑰和秘鑰文件

[root@bigdata01 ~]# ll ~/.ssh/ total 12 -rw-------. 1 root root 1679 Jul 3 05:57 id_rsa -rw-r--r--. 1 root root 396 Jul 3 05:57 id_rsa.pub -rw-r--r--. 1 root root 186 Jul 3 05:54 known_hosts

下一步是把公鑰拷貝到需要免密碼登錄的機器上面

[root@bigdata01 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后就可以通過ssh 免密碼登錄到bigdata01機器了

[root@bigdata01 ~]# ssh bigdata01 Last login: Sat Jul 3 05:54:49 2021 from bigdata01 [root@bigdata01 ~]#

5. JDK

按照正常工作中的開發流程，建議把軟件安裝包全部都放在/data/soft目錄下。
一般公司中正式環境的服務器中都會有一個data盤，負責存儲數據，當然也可能會起其他名字
在這里我們沒有新掛磁盤，所以手工創建/data/soft目錄

[root@bigdata01 ~]# mkdir -p /data/soft

把JDK的安裝包上傳到/data/soft/目錄下

[root@bigdata01 ~]# ll /data/soft/ total 527024 -rw-r--r--. 1 root root 194042837 Mar 8 2020 jdk-8u202-linux-x64.tar.gz [root@bigdata01 ~]#

解壓jdk安裝包

[root@bigdata01 soft]# tar -zxvf jdk-8u202-linux-x64.tar.gz..... export JAVA_HOME=/data/soft/jdk1.8 export PATH=.:$JAVA_HOME/bin:$PATH

重命名jdk

[root@bigdata01 soft]# mv jdk1.8.0_202 jdk1.8

配置環境變量 JAVA_HOME

[root@bigdata01 soft]# vi /etc/profile export JAVA_HOME=/data/soft/jdk1.8 export PATH=.:$JAVA_HOME/bin:$PATH

驗證

[root@bigdata01 soft]# source /etc/profile [root@bigdata01 soft]# java -version java version "1.8.0_202" Java(TM) SE Runtime Environment (build 1.8.0_202-b08) Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)

基礎環境搞定了，下面開始安裝Hadoop

總結

以上是生活随笔為你收集整理的Hadoop集群安装部署_伪分布式集群安装_01的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。