Cloudera Manager 和CDH6.0.1安装，卸载，各步骤截图（此博文为笔者辛苦劳作最终生成的，使用了3个熬到凌晨2~4点的夜晚，外加一个周末完成，请转载时记录转载之处，谢谢）
1 Cloudera 文檔總地址
https://www.cloudera.com/documentation/enterprise/6/6.0.html
2 Cloudera Manager 和CDH下載地址
Cloudera Manager下載地址：
https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
下載上線的rpm，然后把這些文件放到/root目錄下
CDH下載地址：
https://archive.cloudera.com/cdh6/6.0.1/parcels/，需要下載以下文件： CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256 manifest.json以上三個文件放到/opt/cloudera/parcel-repo/目錄下，如果沒有此目錄，可以自己手動創(chuàng)建。
此外在下面的官網(wǎng)介紹中：
https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cm_6_version_download.html
里面有
Cloudera Manager Release Notes
Cloudera Installation Guide
Gloudera Enterprise Upgrade Guide
如果想下載其它的軟件rpm包，下載地址是：
https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/x86_64/
3 閱讀Introduction中的CDH
閱讀以下章節(jié)
4 安裝CDH 6.0.1集群
以下安裝過程分別參考：http://www.cnblogs.com/piperck/p/9944469.html 和 官網(wǎng)
4.1 軟件環(huán)境
操作系統(tǒng)
[root@hadoop15 ~]# uname -a Linux hadoop15 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux[root@hadoop15 ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core)機器配置
要注意的是，不同角色的機器，內(nèi)存可以配置不一樣，一般做Master節(jié)點的機器所需要的內(nèi)存要多一些
4.2 安裝CDH 的準備工作
4.2.1 安裝wget
yum -y install wget4.2.2 更新安裝vim，安裝vim增強包
yum -y install vim-enhanced4.2.3 配置host和hostname
官網(wǎng)介紹：
配置域名相關(guān)，因為只有三臺機器組集群，所以直接使用了hosts的方法，參考官網(wǎng)地址可以是：https://www.cloudera.com/documentation/enterprise/6/6.0/topics/configure_network_names.html
1.配置在集群中的每個節(jié)點的host
檢查hostname
[root@hadoop15 ~]# hostname cdh1[root@localhost ~]# hostname cdh2[root@localhost ~]# hostname cdh22、編輯/etc/hosts
參考網(wǎng)址：https://www.cloudera.com/documentation/enterprise/6/6.0/topics/configure_network_names.html，三臺機器配置成下面相同的配置：
3、編輯/etc/sysconfig/network
參考地址：https://www.cloudera.com/documentation/enterprise/6/6.0/topics/configure_network_names.html
驗證配置
uname –a 需要和 hostname 得到一致的域名
修改前：
修改后：
4.2.4 設(shè)置防火墻
參考文章：https://www.cloudera.com/documentation/enterprise/6/6.0/topics/install_cdh_disable_iptables.html
1.保存存在的iptables規(guī)則設(shè)置(略)
2.禁用iptables (centos7發(fā)現(xiàn)沒有),替代的是firewalled
4.2.5 設(shè)置SELinux
vim /etc/sysconfig/selinux SELINUX=enforcing 改為 SELINUX=disabled或使用如下配置：
1.檢查SELinux的狀態(tài)
[root@localhost etc]# getenforce Disabled [root@localhost etc]#2.如果輸出是Permissive或者Disabled,你可以跳過此任務(wù)，然后開始下面的操作
3.打開/etc/selinux/config文件，在一些系統(tǒng)中，是/etc/sysconfig/selinux 文件
4.修改文件中的SELINUX=enforcing為SELINUX=permissive
筆者配置如下：
5.保存和關(guān)閉這個文件
6.重啟系統(tǒng)或者使用下面的命令立即停止SELinux
當你已經(jīng)安裝部署了CDH之后，你可以在/etc/selinux/config（或/etc/sysconfig/selinux 文件）通過改變SELINUX=permissive為SELINUX=enforcing重新啟用SELINUX，接著運行下面的命令快速切換到enforcing模式
setenforce 14.2.6 啟用NTP
文檔地址：https://www.cloudera.com/documentation/enterprise/6/6.0/topics/install_cdh_enable_ntp.html
CDH需要你在集群中的每個機器中配置Network Time Protocal（NTP）服務(wù)，在開機的時候自動重啟NTP。在你的集群中執(zhí)行下面的每個步驟。
1. 安裝NTP
兼容RHEL的命令：
2. 配置NTP
官網(wǎng)此處的配置，筆者沒有配置
A:配置NTP
vim /etc/ntp.confmaster配置：(選用復(fù)旦大學ntp服務(wù)器)
slave配置：（同步master）
B:開啟NTP服務(wù)
service ntpd start chkconfig ntpd onC:查看同步效果
命令：ntpstat
4.2.7 安裝Hue所需的Python2.7
1.安裝Software Collections Library （3個節(jié)點都執(zhí)行以下命令）
yum install centos-release-scl2.安裝Software Collections utilities （3個節(jié)點都執(zhí)行以下命令）
yum install scl-utils3.安裝Python 2.7 （3個節(jié)點都執(zhí)行以下命令）
yum install python274.驗證python2.7已經(jīng)被安裝了
[root@cdh3 ~]# source /opt/rh/python27/enable [root@cdh3 ~]# python --version Python 2.7.134.2.8 3臺機器間設(shè)置SSH免密
在cdh1，cdh2，cdh3下執(zhí)行
ssh-keygen -t rsa （這個過程一直打enter） ssh-copy-id cdh1 ssh-copy-id cdh2 ssh-copy-id cdh3執(zhí)行完成之后，分別執(zhí)行
ssh cdh1 ssh cdh2 ssh cdh3如果不需要再進行密碼設(shè)置，說明免密設(shè)置已經(jīng)完成了
4.3 安裝Cloudera Manager和CDH
4.3.1 安裝JDK
關(guān)于JDK要求：https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cdh_ig_jdk_installation.html
這里使用oracle-j2sdk1.8，此步驟略,按照官網(wǎng)進行安裝
Jdk要求：
A:JDK必須是64位的，不要使用32位的
B:每個集群節(jié)點都要安裝
C:JDK必須安裝在/usr/java/jdk-version.
如果下載了這個jdk，直接使用：
rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm4.3.2 為Clouder Manager配置一個Repository (如果已經(jīng)下載了Cloudera Manager，此步驟可以忽略)
參考文章：https://www.cloudera.com/documentation/enterprise/6/6.0/topics/configure_cm_repo.htmlhttp://www.cnblogs.com/piperck/p/9944469.html首先Cloudera為用戶準備好了專用的程序倉庫，需要下載下來 wget https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/# Import the repository signing GPG key rpm --import https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPM-GPG-KEY-cloudera4.3.3 安裝Cloudera Manager Package
參考地址：https://www.cloudera.com/documentation/enterprise/6/6.0/topics/install_cm_server.html
在下面這些步驟中，在Cloudera Manager機器（cdh1）上安裝Cloudera Manager Packages，選擇啟用 自動-TLS
4.3.3.1 Install Cloudera Manager Packages
A:在Cloudera Manager服務(wù)器上，鍵入下面的命令安裝Cloudera Manager
OS 命令 RHEL, CentOS, Oracle Linux : sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server SLES : sudo zypper install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server Ubuntu : sudo apt-get install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-serverB:如果你為Cloudera Manager使用的是Oracle database，在Cloudera Manager服務(wù)器上編輯/etc/default/cloudera-scm-server文件。定位到以export CMF_JAVA_OPTS的一行，改變-Xmx2G為-Xmx4G
如果網(wǎng)速不行，可以先下好Cloudera Manager和CDH。下載地址是：
Cloudera Manager: https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
CDH下載地址：https://archive.cloudera.com/cdh6/6.0.1/parcels/
即：
https://archive.cloudera.com/cdh6/6.0.1/parcels/
需要下載的內(nèi)容是：
cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm cloudera-manager-server-6.0.1-610811.el7.x86_64.rpmjdk oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm將以上安裝文件可以放到/root目錄下
關(guān)于安裝：
Master節(jié)點（cdh1）： yum -y install cloudera-manager-agent cloudera-manager-daemons cloudera-manager-serverNode節(jié)點(cdh2,cdh3)： yum -y install cloudera-manager-agent cloudera-manager-daemons本地安裝： （網(wǎng)絡(luò)好的話，可以忽略此步驟。） cloudera-manager-agent-6.0.1-610811.el7.x8664.rpm cloudera-manager-daemons-6.0.1-610811.el7.x8664.rpm cloudera-manager-server-6.0.1-610811.el7.x8664.rpm 先安裝 cloudera-manager-daemons-6.0.1-610811.el7.x8664.rpm 再安裝其他的。先安裝下面的內(nèi)容，因為cloudera-manager-agent依賴這些
yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi portmap httpd mod_ssl openssl-devel python-psycopg2 MySQL-python /lib/lsb/init-functionscdh1上執(zhí)行以下命令：
rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm rpm -ivh cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm rpm -ivh cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.rpmcdh2,cdh3上執(zhí)行以下命令：
rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm4.3.3.2 啟用Auto-TLS以自動創(chuàng)建證書(此步暫時不做)
JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera /opt/cloudera/cm-agent/bin/certmanager --location /opt/cloudera/CMCA setup --configure-services4.3.3.3 安裝mysql
參考：https://blog.csdn.net/Sky_WANGJ/article/details/84030458
參考：http://www.cnblogs.com/piperck/p/9944469.html
4.3.3.4 安裝MySQL JDBC驅(qū)動程序
wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gztar zxvf mysql-connector-java-5.1.46.tar.gz#要注意的是后面的名字必須是mysql-connector-java.jar（可以將下面的jar包放到3臺機器上） cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar4.3.3.5 必須配置數(shù)據(jù)庫支持MySQL UTF8字符集編碼
mysql -u root -p rootDROP DATABASE scm; DROP DATABASE amon; DROP DATABASE rman; DROP DATABASE hue; DROP DATABASE metastore; DROP DATABASE sentry; DROP DATABASE nav; DROP DATABASE oozie; DROP DATABASE activity_monitor;CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'root'; create database scm default character set utf8 default collate utf8_general_ci; grant all on scm.* to 'scm'@'%' identified by 'root'; create database amon default character set utf8 default collate utf8_general_ci; grant all on amon.* to 'amon'@'%' identified by 'root'; create database rman default character set utf8 default collate utf8_general_ci; grant all on rman.* to 'rman'@'%' identified by 'root'; create database hue default character set utf8 default collate utf8_general_ci; grant all on hue.* to 'hue'@'%' identified by 'root'; create database metastore default character set utf8 default collate utf8_general_ci; grant all on metastore.* to 'hive'@'%' identified by 'root'; create database sentry default character set utf8 default collate utf8_general_ci; grant all on sentry.* to 'sentry'@'%' identified by 'root'; create database nav default character set utf8 default collate utf8_general_ci; grant all on nav.* to 'nav'@'%' identified by 'root'; create database oozie default character set utf8 default collate utf8_general_ci; grant all on oozie.* to 'oozie'@'%' identified by 'root';CREATE DATABASE activity_monitor DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON activity_monitor.* TO 'activity_monitor'@'%' IDENTIFIED BY 'root';flush privileges;筆者的如下：
創(chuàng)建完成之后查看數(shù)據(jù)庫：
禁用透明大頁面壓縮(cdh1,cdh2,cdh3上都執(zhí)行)
echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled并將上面的兩條命令寫入開機自啟動 vim /etc/rc.local優(yōu)化交換分區(qū)
vim /etc/sysctl.confvm.swappiness = 10sysctl -p /etc/sysctl.conf其它
echo never>/sys/kernel/mm/transparent_hugepage/defrag echo never>/sys/kernel/mm/transparent_hugepage/enabled4.3.3.6 設(shè)置Cloudera Manager數(shù)據(jù)庫
mysql在本地時執(zhí)行： rm -rf /etc/cloudera-scm-server/db.mgmt.properties /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm如果不在一臺機器上，執(zhí)行類似如下命令（cdh2為mysql所在位置，cdh1為cloudera manager server所在位置）： [root@cdh1 cloudera-scm-server]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 192.168.106.151 --scm-host cdh1 scm scm[root@cdh1 cloudera-scm-server]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 192.168.106.151 --scm-host cdh1 scm scm Enter SCM password: JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera Verifying that we can write to /etc/cloudera-scm-server Creating SCM configuration file in /etc/cloudera-scm-server Executing: /usr/java/jdk1.8.0_141-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db. [ main] DbCommandExecutor INFO Successfully connected to database. All done, your SCM database is configured correctly! [root@cdh1 cloudera-scm-server]#上面過程中需要輸入scm的密碼，在上面的數(shù)據(jù)庫創(chuàng)建語句中scm的密碼被設(shè)置成了root，所以在此處也同樣設(shè)置scm的密碼為root
啟動Cloudera Manager Server
將CHD6相關(guān)的Parcel包放到主節(jié)點的/opt/cloudera/parcel-repo/目錄中，如果沒有此目錄，可以自己創(chuàng)建。（如果是在線安裝，那么此步驟可以忽略。）注意： 最后將CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256，重命名為CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha，這點必須注意，否則系統(tǒng)會重新下載CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel。存放了CDH和修改了HASH之后，設(shè)置Cloudera Manager數(shù)據(jù)庫，啟動Cloudera Manager Server，然后登錄Cloudera Manager Admin Console：啟動Cloudera Manager Server（cdh1上）： systemctl start cloudera-scm-server可以查看啟動日志 tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log看到此條信息，說明啟動完成 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.啟動agent(cdh1,cdh2,cdh3上)： systemctl start cloudera-scm-agent要注意的是，在上傳完上面的CDH之后，要在manifest.json 中找到CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel ，然后找到上面的hash值，即：
將2e650f1f1ea020a3efc98a231b85c2df1a50b030 替換掉CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha 中的內(nèi)容
登錄
在Web瀏覽器中，轉(zhuǎn)到 http://cdh1:7180/cmf/login，其中域名是運行Cloudera Manager Server的主機的FQDN或IP地址。如果有啟用自動TLS，則會重定向到https: cdh1:7183，并顯示安全警告。你可能需要表明你信任該證書，或單擊以繼續(xù)執(zhí)行Cloudera Manager Server主機。登錄Cloudera Manager Admin Console。默認憑據(jù)為： Username: admin Password: admin 注意：若admin,admin登錄不進去，換個瀏覽器試試。進入之后
點擊第一個免費的即可
如果出現(xiàn)下面的錯誤：
如果上面過程中出現(xiàn)如下現(xiàn)象：
解決辦法：靈感出自：http://www.ask3.cn/archives/29
網(wǎng)絡(luò)上說的解決辦法，參考：https://yq.aliyun.com/articles/578871。然后筆者使用了之后并不成功。最后定位到是上面各章節(jié)的配置沒有配置好導致的，需要驗證：網(wǎng)絡(luò)是否通，各機器之間是否能夠ssh免密，hostname,hosts等是否設(shè)置的正確，網(wǎng)絡(luò)防火墻是否按照博文敘述進行配置。（為此，筆者重新虛擬過3遍3個集群，熬了3個到凌晨2，3點的夜晚）。所以在配置過程中一定要細心又細心。
最后：
5 卸載Cloudera Manager
systemctl stop cloudera-scm-server systemctl stop cloudera-scm-agentyum -y remove 'cloudera-manager-*'yum clean allumount cm_processes umount /var/run/cloudera-scm-agent/processrm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera* rm -rf /tmp/.scmpreparenode.lock rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper rm -Rf datadrivepath/dfs datadrivepath/mapred datadrivepath/yarnrm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie /var/lib/pgsql /var/lib/sqoop2 /data/dfs/ /data/impala/ /data/yarn/ /dfs/ /impala/ /yarn/ /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalogsystemctl stop mysqldyum -y remove mysql rm -rf /var/lib/mysql rm -rf /var/log/mysqld.log rm -rf /var/lib/mysql/mysql rm -rf /usr/lib64/mysql rm -rf /usr/share/mysql rm -rf /opt/clouderarpm -qa | grep -i mysql 卸載MySQL相關(guān)的文件。6 Cloudera Manager重啟，停止等涉及到的相關(guān)問題
發(fā)現(xiàn)如果是通過rpm -ivh *.rpm方式安裝的軟件，在機器重啟之后，CM和CDH自動重啟了。
如果發(fā)現(xiàn)沒有自動重啟或為了保險起見，啟動Cloudera Manager和cdh的方式如下：
以下，第一行命令在cdh1上執(zhí)行。第二行在所有的節(jié)點上執(zhí)行 systemctl stop cloudera-scm-server systemctl stop cloudera-scm-agent(cdh1上執(zhí)行) systemctl start cloudera-scm-server (cdh1,cdh2,cdh3上都執(zhí)行) systemctl start cloudera-scm-agent [root@cdh1 init.d]# ps -ef | grep cloudera-scm-server （在CDH上執(zhí)行） 查看CM的日志： [root@cdh1 init.d]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log查看日志，然后一直等待到其啟動完畢，大約要等待3~5分鐘左右，然后在瀏覽器中輸入：http://cdh1:7180/cmf/login
總結(jié)
以上是生活随笔為你收集整理的Cloudera Manager 和CDH6.0.1安装，卸载，各步骤截图（此博文为笔者辛苦劳作最终生成的，使用了3个熬到凌晨2~4点的夜晚，外加一个周末完成，请转载时记录转载之处，谢谢）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 优惠乘车区间是什么意思
- 下一篇： rocketmq官网和其它资料