公司終于有升級Hadoop版本的意思了，于是強烈推薦CDH版本，終于在再三的推薦下初步確定使用CDH版本了。于是CDH的測試集群搭建開始了。撒花...

• CDH版本：5.3.0
• 操作系統版本：CentOS 6.3
• JDK版本：jdk-7u71-linux-x64
• 資源下載：
  • Cloudera Manager，選擇操作系統對應的版本。
  • CDH，下載CDH和對應的sha1文件以及manifest.json文件。
  • mysql-connector-java-5.1.34-bin.jar，需要登錄下載。

系統環境搭建

• 打通SSH
• 配置Hosts
• 關閉IPv6
• 關閉SELINUX
• 關閉防火墻
• 打開句柄限制
• 安裝JDK
• NTP

以上步驟參考Hadoop集群搭建全過程。其中JDK安裝可能需要卸載操作系統自帶的OpenJDK，命令：

12	rpm -qa | grep javarpm -e --nodeps 包名

安裝Mysql

1	yum install mysql-server

添加為自啟動

1	chkconfig mysqld on

啟動mysql

1	service mysqld start

修改root密碼

1	mysqladmin -u root password '123456'

進入mysql

1	mysql -uroot -p123456

創建數據庫

123	create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database hue default charset utf8 collate utf8_general_ci;

授權

1 2	grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option; flush privileges;

其它配置

在.bashrc中添加

12	echo never > /sys/kernel/mm/redhat_transparent_hugepage/defragecho 0 > /proc/sys/vm/swappiness

并source .bashrc。

自此準備工作完畢。

安裝CDH

所有節點創建cloudera-scm用戶

1	useradd --system --home=/opt/cm-5.3.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

安裝Cloudera Manager

解壓下載好的Cloudera Manager解壓至/opt下，產生2個文件夾cloudera和cm-5.3.0。

添加mysql connector包

將mysql-connector-java-5.1.34-bin.jar拷貝至/opt/cm-5.3.0/share/cmf/lib/和/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.30/lib/hive/lib/下

初始化CM5的數據庫數據庫

1	/opt/cm-5.3.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

修改Agent配置

將/opt/cm-5.3.0/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名

同步Agent到其他節點

1	scp -r /opt/cm-5.3.0 root@slave[1-xx]:/opt/

準備Parcels

將下載好的CDH-xxx.parcels文件、CDH-xxx.parcels.sha1文件和manifest.json文件移至/opt/cloudera/parcel-repo/中，并將CDH-xxx.parcels.sha1重命名為CDH-xxx.parcels.sha。

啟動Cloudera Manager

主節點

1	/opt/cm-5.3.0/etc/init.d/cloudera-scm-server start

所有slave節點

1	/opt/cm-5.3.0/etc/init.d/cloudera-scm-agent start

等待1-3分鐘后可通過http://主節點IP:7180來訪問CM，用戶名密碼都為admin。剩下的就是一直點下一步和根據具體的需求來配置集群了。

總結

以上是生活随笔為你收集整理的CDH离线安装手册的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。