當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

安装CM 6.3.1和CDH 6.3.2

發布時間：2025/1/21 编程问答 66 豆豆

生活随笔收集整理的這篇文章主要介紹了安装CM 6.3.1和CDH 6.3.2 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

安裝CM 6.3.1和CDH 6.3.2

操作系統要求

在安裝CDH之前，我們來看看平臺對系統有什么樣的要求。通過官方文檔，我們可以看到有5個方面的要求：

軟件依賴
CDH和CM支持的依賴
文件系統要求
nproc配置
Kudu所要求的nscd

軟件依賴

Python

操作系統帶的Python是支持的（Hue和Spark會有一點問題），但Python 3.0或者更高版本是不兼容的。CDH 6要求OS需要Python 2.7或者更高的版本，而Spark 2需要Python 2.7或者更高版本的支持，但Spark 3只支持Python 3。

Perl

Cloudera Manager是要求Perl的。

python-psycopg2

CM6是依賴python-psycopg2的，Hue依賴更高的python-psycopg2版本。

iproute

CM6需要依賴iproute包。所有運行CM agent的節點都需要這個軟件包。而不同的操作系統，對iproute依賴的版本也是不一樣的。

CDH和CM支持的操作系統

注意：

所有的CDH節點都需要在同一個OS的major版本。例如：都是CentOS 7.8或者都是CentOS 7.7。Cloudera建議我們都使用相同的操作系統版本，避免額外的風險。
Cloudera是不能把CDH集群部署在Docker上的

文件系統要求

CDH支持的文件系統有：ext3、ext4、xfs（CentOS7的默認版本）、s3。Kudu要求使用：ext4或者xfs。Linux文件系統默認會保存每個文件的訪問時間元數據，所以讀文件也會寫元數據，Cloudera建議 /etc/fstab 禁用noattime。

/dev/sdb1 /data1 ext4 defaults,noatime 0
mount -o remount /data1

nproc配置

應該確保nproc限制設置大一點，例如：65536或者262144

為Kudu配置nscd

建立使用nscd為Kudu配置DNS域名解析緩存

數據庫要求

CM和CDH都嵌入了PostgreSQL數據庫，在非生產環境可以用。但生產環境不可以使用它，必須要為它配置外部的數據庫。要使用與操作系統匹配的數據庫版本，MySQL必須要使用UTF-8編碼方式。MySQL 5.7必須安裝MySQL-shared-compact或者MySQL-shared軟件包。CM Agent必須要安裝。

Java版本要求

使用64位的Java版本

準備工作

安裝Centos 7

安裝網絡工具： yum install -y net-tools.x86_64 yum install -y wget 安裝VIM編輯器 yum install -y vim

當前系統默認的Python版本為2.7.5

下載包以及規劃

1、下載CM 6.3.1

2、下載CDH 6.3.2

3、環境配置

創建安裝用戶

# 添加組 groupadd hadoop # 創建用戶并設置到組 adduser -g hadoop hadoop -d /home/hadoop -m # 設置密碼 passwd hadoop sudo授權 vim /etc/sudoers hadoop ALL=(ALL) NOPASSWD: ALL

配置域名映射

所有節點上配置域名映射

sudo vim /etc/hosts 192.168.88.100 cdh6-master 192.168.88.101 cdh6-slave1 192.168.88.102 cdh6-slave2 192.168.88.103 cdh6-slave3

配置SSH免密登錄

配置master到其他slave節點配置免密登錄

# 生成ssh key，一路回車生成 ssh-keygenssh-copy-id hadoop@cdh6-master ssh-copy-id hadoop@cdh6-slave1 ssh-copy-id hadoop@cdh6-slave2 ssh-copy-id hadoop@cdh6-slave3

關閉防火墻

所有節點關閉防火墻

# 查看防火墻狀態 sudo firewall-cmd --state sudo systemctl stop firewalld.service sudo systemctl disable firewalld.service

關閉SELINUX

sudo setenforce 0 sudo vim /etc/selinux/config SELINUX=disabled

安裝依賴

所有節點安裝以下依賴

sudo yum install -y bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs httpd mod_ssl openssl-devel python-psycopg2 MySQL-python /lib/lsb/init-functions libpq.so.5 sudo wget http://www.percona.com/redir/downloads/Percona-XtraDB-Cluster/5.5.37-25.10/RPM/rhel6/x86_64/Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm # 或者直接從本地上傳，然后安裝 sudo rpm -ivh Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm

安裝NTP

所有機器安裝NTP服務

# 安裝 sudo yum -y install ntp # 配置時間服務器 sudo vim /etc/ntp.conf ## 加入時間服務器： server 0.asia.pool.ntp.org server 1.asia.pool.ntp.org server 2.asia.pool.ntp.org server 3.asia.pool.ntp.org# 啟動NTP時間服務器 sudo systemctl start ntpd.service # 設置NTP開機自動啟動 sudo systemctl enable ntpd.service

安裝JDK

下載地址：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

# 授權hadoop用戶 /opt擁有者權限sudo chown -R hadoop /opt配置環境變量# 上傳JDK壓縮包 sudo mkdir /usr/java sudo tar -xvzf /home/hadoop/jdk-8u181-linux-x64.tar.gz -C /usr/java vim ~/.bash_profile export JAVA_HOME=/usr/java export PATH=$JAVA_HOME/bin:$PATH export JRE_HOME=$JAVA_HOME/jre source /home/hadoop/.bash_profile查看Java版本號：[root@cdh6-master opt]# java -versionjava version "1.8.0_181"Java(TM) SE Runtime Environment (build 1.8.0_181-b13)Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)分發到另外幾臺服務器scp -r jdk1.8.0_181/ root@cdh6-slave1:$PWDscp -r jdk1.8.0_181/ root@cdh6-slave2:$PWDscp -r jdk1.8.0_181/ root@cdh6-slave3:$PWDscp /home/hadoop/.bash_profile hadoop@cdh6-slave1:/home/hadoop/scp /home/hadoop/.bash_profile hadoop@cdh6-slave2:/home/hadoop/scp /home/hadoop/.bash_profile hadoop@cdh6-slave3:/home/hadoop/全部加載環境變量source ~/.bash_profile

注意：

JDK一定要安裝在 /usr/java目錄，否則會報錯找不到JDK

安裝CDH 6.3 YUM源

sudo curl -o /etc/yum.repos.d/cloudera-manager.repo https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/cloudera-manager.reposudo rpm --import https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPM-GPG-KEY-cloudera

所有節點安裝MySQL驅動

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz# 或者直接從本地上傳# 解壓tar -xvzf mysql-connector-java-5.1.46.tar.gz# 放到指定目錄，一定要改名為mysql-connector-java.jarsudo mkdir -p /usr/share/java/sudo cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar# 復制到每個節點sudo scp /usr/share/java/mysql-connector-java.jar root@cdh6-slave1:/usr/share/java/sudo scp /usr/share/java/mysql-connector-java.jar root@cdh6-slave2:/usr/share/java/sudo scp /usr/share/java/mysql-connector-java.jar root@cdh6-slave3:/usr/share/java/

安裝mysql 5.7

檢查系統自帶的MySQL服務。

清理機器上安裝的mariadb

sudo rpm -qa | grep mariadbsudo rpm -e --nodeps mariadb-libs-5.5.64-1.el7.x86_64

安裝libaio

sudo rpm -qa | grep libaio# 如果沒有則用yum安裝sudo yum install libaio -y

安裝MySQL源

sudo wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpmsudo yum localinstall -y mysql57-community-release-el7-11.noarch.rpmsudo yum repolist enabled | grep "mysql.*-community.*"

安裝MySQL

sudo yum install -y mysql-community-server

啟動MySQL服務

sudo systemctl start mysqldsudo systemctl status mysqld# 設置開機啟動sudo systemctl enable mysqld# 重載所有修改過的配置文件sudo systemctl daemon-reload

查看mysql初始密碼

sudo grep 'temporary password' /var/log/mysqld.log2021-01-17T02:34:12.450842Z 1 [Note] A temporary password is generated for root@localhost: O6uldhGK(F9,

修改MySQL密碼要求級別

sudo vim /etc/my.cnf# 添加下面一行plugin-load=validate_password.so validate-password=OFF# 重啟MySQLsudo systemctl restart mysqld

修改MySQL密碼

# 用前面的初始密碼登錄到MySQLmysql -uroot -pset password for 'root'@'localhost'=password('123456');

創建scm用戶

mysql -uroot -p# 新建scm用戶CREATE USER 'scm'@'%' IDENTIFIED BY '123456';grant all privileges on *.* to root@'%'identified by '123456';grant all privileges on *.* to 'scm'@'%' with grant option;flush privileges;

嘗試使用MySQL工具從外部連接，測試是否有效。

創建數據庫

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;grant all privileges on *.* to 'scm'@'%' identified by '123456' with grant option;flush privileges;

安裝CM

安裝Cloudera Manager Server

在Master節點上安裝Cloudera Manager Server。

cd /home/hadoop# 上傳cm壓縮包并解壓縮tar -xvzf cm6.3.1-redhat7.tar.gz# 安裝cm daemon、cm servercd /home/hadoop/cm6.3.1/RPMS/x86_64sudo yum -y localinstall cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-servercd /opt/cloudera/cm# 查看安裝是否成功rpm -qa | grep cloudera-manager[hadoop@cdh6-master cm]$ rpm -qa|grep cloudera-managercloudera-manager-server-6.3.1-1466458.el7.x86_64cloudera-manager-daemons-6.3.1-1466458.el7.x86_64

配置數據庫連接

sudo vim /etc/cloudera-scm-server/db.propertiescom.cloudera.cmf.db.type=mysqlcom.cloudera.cmf.db.host=localhostcom.cloudera.cmf.db.name=scmcom.cloudera.cmf.db.user=scmcom.cloudera.cmf.db.setupType=EXTERNALcom.cloudera.cmf.db.password=123456

Master執行初始化腳本

sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

啟動CM Server

sudo systemctl start cloudera-scm-server# 查看狀態sudo systemctl start cloudera-scm-server

查看啟動日志

sudo tail -100f /var/log/cloudera-scm-server/cloudera-scm-server.log

Slave節點安裝Agent

在所有Slave節點安裝agement

sudo yum localinstall cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent -y

所有Slave節點修改CM Server地址

sudo vim /etc/cloudera-scm-agent/config.ini# 將server_host修改為CM-Server所在的主機名server_host=cdh6-master

啟動Agent

sudo systemctl start cloudera-scm-agent# 查看agent狀態sudo systemctl status cloudera-scm-agent

查看日志

sudo tail -100f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

登錄CM

在window配置域名映射:

http://cdh6-master:7180/cmf/login

使用admin/admin登陸

安裝CDH組件

下載CDH安裝包

Master安裝Apache HTTP Server

http server是用來存放Parcel文件的

sudo yum install httpd# 啟動sudo systemctl start httpd# 查看httpd狀態sudo systemctl status httpd# 創建CDH安裝包庫位置sudo mkdir /var/www/html/cloudera-repos# 將parcel文件和sha1上傳到上面的目錄中[hadoop@cdh6-master cloudera-repos]$ ll總用量 2033428-rw-r--r--. 1 root root 2082186246 1月 17 11:57 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel-rw-r--r--. 1 root root 40 1月 17 11:55 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha-rw-r--r-- 1 root root 33887 1月 17 12:37 manifest.json# 將.sha1后綴名改為.sha[hadoop@cdh6-master cloudera-repos]$ sudo mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha[hadoop@cdh6-master cloudera-repos]$ ll總用量 2033392-rw-r--r--. 1 root root 2082186246 1月 17 11:57 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel-rw-r--r--. 1 root root 40 1月 17 11:55 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

測試Apache服務，在瀏覽器中輸入：

http://cdh6-master/cloudera-repos/

這樣，其他Agent就可以從Apache Server下載Parcel了。

通過向導安裝組件

配置CM

1、配置集群名稱為：MyCDH

2、掃描主機（安裝過CM Agent，且配置正確的服務器會直接顯示出來）

3、配置本地遠程Parcel url地址（就是前面的Apache HTTP Server地址）

配置為：http://cdh6-master/cloudera-repos/

4、選擇cdh6.x版本

等待下載Parcel

耐心等待下載、分配、解壓、激活完成。這個過程大概需要（1個小時左右）

1、CM會先將Apache Server上的parcel下載到/opt/cloudera/parcel-repo目錄

[hadoop@cdh6-master parcel-repo]$ ll總用量 2035912-rw-r----- 1 cloudera-scm cloudera-scm 2496640 1月 17 12:39 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.part-rw-r----- 1 cloudera-scm cloudera-scm 2082186246 1月 17 12:50 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel-rw-r----- 1 cloudera-scm cloudera-scm 41 1月 17 12:50 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha-rw-r----- 1 cloudera-scm cloudera-scm 79610 1月 17 12:51 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.torrent

你會發現，CM制作了torrent種子，方便其他agent下載。

2、每個slave從master上下載parcel。

下載過程中如果出現：org.hibernate.exception.GenericJDBCException: Unable to acquire JDBC Connection異常。查看日志發現：

2021-01-17 12:53:04,933 INFO JvmPauseMonitor:com.cloudera.enterprise.debug.JvmPauseMonitor: Detected pause in JVM or host machine (e.g. a stop the world GC, or JVM not scheduled): paused approximately 5938ms: no GCs detected.2021-01-17 12:53:29,214 WARN C3P0PooledConnectionPoolManager[identityToken->1hgeickaf4288e9wu8vq|46d8f407]-AdminTaskTimer:com.mchange.v2.async.ThreadPoolAsynchronousRunner: com.mchange.v2.async.ThreadPoolAsynchronousRunner$DeadlockDetector@7fdfa5b3 -- APPARENT DEADLOCK!!! Creating emergency threads for unassigned pending tasks!2021-01-17 12:53:29,217 WARN JvmPauseMonitor:com.cloudera.enterprise.debug.JvmPauseMonitor: Detected pause in JVM or host machine (e.g. a stop the world GC, or JVM not scheduled): paused approximately 22360ms: no GCs detected.2021-01-17 12:53:29,602 WARN scm-web-107:org.springframework.web.servlet.mvc.method.annotation.ExceptionHandlerExceptionResolver: Resolved [org.hibernate.exception.GenericJDBCException: Unable to acquire JDBC Connection] to ModelAndView: materialized View is [com.cloudera.server.web.common.JamonModelAndView$JamonView@6ee3400a]; model is {}2021-01-17 12:53:43,479 INFO JvmPauseMonitor:com.cloudera.enterprise.debug.JvmPauseMonitor: Detected pause in JVM or host machine (e.g. a stop the world GC, or JVM not scheduled): paused approximately 1022ms: no GCs detected.

這個問題是由于Full GC，是由于Master內存緊張導致。CM會Resolve掉，不必理會。

等待解壓完成。

繼續配置

選擇安裝需要的組件，此處我安裝了以下幾個組件：

HDFS
YARN
ZK
Kudu
Impala
Hive
Spark
Hue

給所有組件分配角色。配置好后，點擊「繼續」。等待片刻。

配置MySQL元數據庫

在MySQL創建一個hive和hue、activity_monitor的數據庫，用于存放Hive的元數據。

注意：主機名稱、數據庫名、用戶名、密碼都要配置正確。否則需要等待較長時間。

配置Kudu

配置WAL目錄:

1、Kudu Master WAL Directory

/kudu/master/wal

2、Kudu Master Data Directories

/kudu/master/data

3、Kudu Tablet Server WAL Directory

/kudu/tablet/wal

4、Kudu Tablet Server Data Directories

/kudu/tablet/data

點擊「繼續」

等待安裝/啟動完成

到此為止，CM和CDH就已經安裝好了。

大家可以根據實際情況，來安裝其他的服務，以及對現有運行的服務管理。

所有的安裝資源都已經上傳，大家可以關注我的公眾號，并回復 cdh_6.3.2，自行獲取。

參考鏈接：https://zhuanlan.zhihu.com/p/344970291

參考文獻：

https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rgosrequirements.html#c63supportedos
https://www.cnblogs.com/dengbangpan

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的安装CM 6.3.1和CDH 6.3.2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： Cloudera Enterprise
下一篇： CDH HUE集成yarn