?文檔編寫目的

Cloudera在2019年7月31日，對外宣布正式發布Cloudera Enterprise 6.3，相關介紹可以參考Fayson之前的文章《0682-Cloudera Enterprise 6.3.0發布》，《0717-6.3.0-Cloudera Manager 6.3的新功能》和《0718-6.3.0-CDH6.3的新功能》。本文檔Fayson主要描述如何在Redhat7.4安裝CDH6.3。CDH6與CDH5的安裝步驟一致，主要包括以下四部分：

1.安全前置準備，包括安裝操作系統、關閉防火墻、同步服務器時鐘等；

2.外部數據庫如MySQL安裝

3.安裝Cloudera Manager；

4.安裝CDH集群；

請務必注意CDH6的安裝前置條件包括如下：

• 外部數據庫支持：

MySQL 5.7或更高

MariaDB 5.5或更高

PostgreSQL 8.4或更高

Oracle 12c或更高

• JDK

Oracle JDK1.8，將不再支持JDK1.7

• 操作系統支持

RHEL 6.8或更高

RHEL 7.2或更高

SLES 12 SP2或更高

Ubuntu 16或更高

• 本次Fayson的測試環境為

1.CM和CDH版本為6.3

2.Redhat7.4

3.JDK1.8.0_181

4.MariaDB-5.5.56

5.root用戶安裝

前置準備

2.1 hostname及hosts配置

集群中各個節點之間能互相通信使用靜態IP地址。IP地址和主機名通過/etc/hosts配置，主機名通過/etc/hostname進行配置。

以cm節點(172.31.13.38)為例：

• hostname配置

/etc/hostname文件如下：

或者你可以通過命令修改立即生效

• hosts配置

/etc/hosts文件如下:

以上兩步操作，在集群中其它節點做相應配置。確認需要安裝的4臺主機的hosts文件：

2.2 禁用SELinux

在所有節點執行setenforce 0 命令，此處使用批處理shell執行：

集群所有節點修改/etc/selinux/config文件如下：

# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of three two values:# targeted - Targeted processes are protected,# minimum - Modification of targeted policy. Only selected processes are protected. # mls - Multi Level Security protection.SELINUXTYPE=targeted

2.3 關閉防火墻

集群所有節點執行 systemctl stop命令，此處通過shell批量執行命令如下：

2.4 集群時鐘同步

在Redhat7.x的操作系統上，已經默認的安裝了chrony，我們這里先卸載chrony，然后安裝ntp。使用ntp來配置各臺機器的時鐘同步，將cm(172.31.13.38)服務作為本地ntp服務器，其它3臺服務器與其保持同步。

1.所有機器卸載chrony

2.所有機器安裝ntp

3.cm機器配置時鐘與自己同步

4.集群其它節點，配置找cm機器去同步

5.重啟所有機器的ntp服務

6.驗證始終同步，在所有節點執行ntpq -p命令，如下使用腳本批量執行

左邊出現*號表示同步成功。

2.5 設置swap

1.在所有機器執行以下命令以臨時設置swap為1，并即時生效

確保最后swap打印應該都為1

2.為所有機器永久設置swap為1，修改/etc/sysctl.conf中vm.swappiness為1，沒有則新增。

將/etc/sysctl.conf文件同步到集群所有機器

2.6 設置透明大頁面

1.所有節點執行以下命令關閉透明大頁面，并即時生效

2.修改所有節點的/etc/rc.d/rc.local文件的權限以實現開機執行

3.在所有節點的/etc/rc.d/rc.local文件中新增如下內容，以實現開機自動關閉透明大頁面。

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi

將該文件同步到所有節點

2.7 配置操作系統repo

Fayson用的是AWS的環境，這步是可以省略的，放在這里供物理機部署的兄弟們參考。

• 掛載操作系統iso文件

• 配置操作系統repo

[ec2-user@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/local_os.repo[local_iso] name=CentOS-$releasever - Mediabaseurl=file:///media/DVD1gpgcheck=0enabled=1[ec2-user@ip-172-31-2-159 ~]$ sudo yum repolist

2.8 安裝httpd服務

• 安裝httpd服務

• 啟動httpd服務

• 安裝完httpd后，重新制作操作系統repo，換成http的方式方便其它服務器也可以訪問

1.修改/etc/httpd/conf/httpd.conf配置文件，在中修改以下內容

2.保存httpd.conf的修改，并重啟httpd服務

2.9 安裝MariaDB

1.安裝MariaDB

2.啟動并配置MariaDB

3.建立CM，Hive等需要的表

4.安裝JDBC驅動

Cloudera Manager安裝

3.1 配置本地repo源

1.下載CM6.3的安裝包，地址為：

https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/allkeys.asc

2.下載CDH6.3的安裝包，地址為：

https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcelhttps://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha1https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha256https://archive.cloudera.com/cdh6/6.3.0/parcels/manifest.json

3.將Cloudera Manager安裝需要的6個rpm包以及一個asc文件下載到本地，放在同一目錄，執行createrepo命令生成rpm元數據。

[root@ip-172-31-13-38 cm6.3]# createrepo .

4.配置Web服務器

將上述cdh6.3/cm6.3目錄移動到/var/www/html目錄下, 使得用戶可以通過HTTP訪問這些rpm包。

驗證瀏覽器能否正常訪問

5.制作Cloudera Manager的repo源

6.驗證安裝JDK

3.2 安裝Cloudera Manager Server

1.通過yum安裝Cloudera Manager Server

2.初始化數據庫

3.啟動Cloudera Manager Server

4.檢查端口是否監聽

5.通過http://cm_ip:7180/cmf/login訪問CM

注意：完全啟動成功需要幾分鐘時間。

CDH安裝

4.1 CDH集群安裝向導

1.admin/admin登錄到CM

2.同意license協議，點擊繼續

3.選擇60試用，點擊繼續

4.點擊“繼續”

5.點擊“繼續”，輸入集群名稱，可以使用默認的“Cluster 1”。

6.輸入主機IP或者名稱，點擊搜索找到主機后點擊繼續

7.選擇自定義存儲庫，輸入cm的http地址

“CDH and other software”中選擇“使用 Parcel (建議)”，點擊“ 更多選項”，點擊“-”刪除其它所有地址，輸入http://172.31.13.38/cdh6.3，點擊“保存更改”

點擊“繼續”

8.點擊“繼續”，進入下一步安裝jdk

9.點擊“繼續”，進入下一步配置ssh賬號密碼

10.點擊“繼續”，進入下一步，安裝Cloudera Manager相關到各個節點

等待Agent安裝完畢后，自動跳轉到下一步開始分發Parcel

11.點擊“繼續”，進入下一步安裝cdh到各個節點

12.點擊Inspect Network Performance和Inspect Hosts，檢查主機

如果有錯誤或者黃色警告，查看“顯示檢查器結果”，并逐項解決，然后“重新運行”檢查，直到所有的檢查都通過，否則沒辦法點擊繼續下一步。

4.2 集群設置安裝向導

1.選擇需要安裝的服務，根據需要選擇，這里隨便選擇Data Warehouse，也可以自定義服務

2.點擊“繼續”，進入集群角色分配，一臺機器作為管理節點，另外三臺機器作為DataNode

注意：Activity Monitor和Telemetry Publisher不用選擇任何主機，留空，即不安裝，因為用不到。

3.點擊“繼續”，進入下一步，測試數據庫連接

4.測試成功，點擊“繼續”，進入目錄設置，此處使用默認默認目錄，根據實際情況進行目錄修改

5.點擊“繼續”，進入各個服務啟動

6.安裝成功后進入home管理界面

4.3 組件版本檢查

可以看到Hadoop3.0，Flume1.9，HBase2.1，Hive2.1.1，Spark2.4，Hue4.2.0，Impala3.2，Kafka2.2.1，Kudu1.0，Oozie5.1，Pig0.17，Senty2.1，Solr7.4，Sqoop1.4.7，Zookeeper3.4.5等。

總結

1.從安裝方式上來看，CDH6與CDH5變化不大，這也方便了CDH5的用戶可以較為快速的遷移到CDH6，以及適應CDH6的安裝與使用。

2.安裝向導界面有一些變化，現在可以一目了然的看到一共多少步驟，以及每個步驟是干什么。

3.安裝條件前置沒有任何變化，包括防火墻，Selinux關閉，ntp同步等等。可以參考Fayson之前的文章《CDH安裝前置準備》

4.進到主界面變化也不大，主要是Cloudera的logo變成了黑色，與Cloudera主頁的整體風格一致。

5.在配置Cloudera Manager連接到數據庫時的腳本有所變化。以前是/usr/share/cmf/schema/scm_prepare_database.sh，現在是/opt/cloudera/cm/schema/scm_prepare_database.sh

6.Cloudera Manager服務的狀態在Redhat7通過systemctl status cloudera-scm-server查看是顯示正確，而以前是不正確的，可以參考Fayson之前的文章《Cloudera Manager服務在RedHat7狀態顯示異常分析》

7.Cloudera Manager的rpm安裝包由之前的7個變成了6個，去掉了之前的JDK6的包，然后自帶JDK1.8.0_181，將不再支持JDK1.7。

8.注意CM的安裝除了下載rpm包以外，還要下載allkeys.asc文件，否則安裝agent的時候會報以下錯誤：

9.對于離線安裝CDH6.x，分發Parcel出現hash校驗失敗的問題，是因為在CM6中修復了一個bug，讓它不再忽略由http服務器發送的“Content-Encoding”的header信息，但是我們在Redhat中安裝的httpd服務，當它傳輸parcel文件時，默認會錯誤的設置“Content-Encoding”。于是CM server會錯誤的認為parcel文件已經被httpd壓縮并嘗試解壓縮。所以會導致失敗。解決辦法是參考2.8章節的，設置httpd的conf文件，AddType application/x-gzip .gz .tgz .parcel，然后重啟httpd服務和CM服務。這個問題在beta的時候就已經存在了，具體請參考《0350-Redhat7.4安裝CDH6.0_beta1時分發Parcel異常分析》

10.與CDH6.1的安裝相比，6.2/6.3有一些細微的差別，首先多了一個步驟可以自定義集群的名字，默認“Cluster 1”；另外在“檢查主機”那個步驟，多了一個選項“檢查網絡性能”，這個功能是為CDH6.2/6.3的新功能SDX服務的，因為SDX是存儲計算分離的架構，如果網絡是瓶頸，可能并不適合SDX。

總結

以上是生活随笔為你收集整理的createrepo命令安装_安装CDH6.3的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。