Hadoop是apache旗下的一套開源軟件平臺(tái), 主要對(duì)海量數(shù)據(jù)進(jìn)行分布式處理。
本次部署，計(jì)劃使用5臺(tái)服務(wù)器，服務(wù)器磁盤規(guī)劃如下：

分區(qū)掛載完成以后，使用root用戶執(zhí)行對(duì)目錄/data授權(quán)。每臺(tái)服務(wù)器都執(zhí)行此命令。
chmod 777 -R /data

一、基礎(chǔ)運(yùn)行平臺(tái)部署包說明
平臺(tái)大數(shù)據(jù)部署包共提供cm5,cdh,Redhat三個(gè)程序部署包。其中cm5為管理控制臺(tái)，是必裝包;cdh為基礎(chǔ)運(yùn)行平臺(tái)的主程序包，是 必裝包；Redhat為linux系統(tǒng)操作精裝版。

二、創(chuàng)建組與用戶（每臺(tái)服務(wù)器都需要操作）

1、創(chuàng)建hadoop用戶，并將hadoop用戶添加到root組。在root用戶下執(zhí)行。useradd -g root hadoop[如果已存在用戶更改用戶屬組：usermod -g root hadoop]passwd hadoop2、驗(yàn)證hadoop用戶是否成功，輸入命令后，用戶變成了hadoop表示成功su hadoop3、使用hadoop用戶創(chuàng)建目錄su hadoopmkdir -p /home/hadoop/hadoop-2.3.0-cdh5.1.2/lib/native/mkdir -p /home/hadoop/hadoop-2.3.0-cdh5.1.2/video-analysis-alg/4、使用hadoop用戶登陸各系統(tǒng)節(jié)點(diǎn)，執(zhí)行如下命令查看上圖創(chuàng)建目錄是否成功cd /home/hadoop/hadoop-2.3.0-cdh5.1.2/lib/native/5、執(zhí)行完上句執(zhí)行下面語句，確定進(jìn)入的路徑正確pwd6、使用hadoop用戶登陸各系統(tǒng)節(jié)點(diǎn)，執(zhí)行如下命令查看上圖創(chuàng)建目錄是否成功cd /home/hadoop/hadoop-2.3.0-cdh5.1.2/video-analysis-alg/7、執(zhí)行完上句執(zhí)行下面語句，確定進(jìn)入的路徑正確pwd8、使用root用戶為目錄賦權(quán)chmod o+rx -R /home/hadoop

三、服務(wù)器hostname配置

1、每一臺(tái)服務(wù)器均需使用root用戶執(zhí)行下列命令，根據(jù)不同節(jié)點(diǎn)分配不同機(jī)器名，修改機(jī)器名相關(guān)配置。hostnamectl set-hostname master1-vsp.com2、Hostname配置完成之后，在每臺(tái)機(jī)器使用root用戶執(zhí)行如下命令檢查配置是否成功（以子節(jié)點(diǎn)2為例）hostname3、每一臺(tái)服務(wù)器均需執(zhí)行下列操作，修改系統(tǒng)的IP地址ifconfig4、使用root用戶編輯enovi /etc/sysconfig/network-scripts/ifcfg-enp0s35、將下面的內(nèi)容編輯到ifcfg-enp0s3文件中，原文件中有的則更改，沒有的則添加，其中IP地址、子網(wǎng)掩碼以及網(wǎng)關(guān)則需要更改實(shí)際情況編寫。NETMASK=255.255.255.0IPADDR=172.16.100.4GATEWAY=172.16.100.254ONBOOT=yes(修改系統(tǒng)文件里面已有的)BOOTPROTO=static（網(wǎng)卡內(nèi)容存在此變量，將=號(hào)右邊的內(nèi)容改為此內(nèi)容即可）6、重啟網(wǎng)卡/etc/rc.d/init.d/network restart 7、每一臺(tái)服務(wù)器均需執(zhí)行下列5條操作命令，將服務(wù)器的IP與服務(wù)器名稱進(jìn)行關(guān)聯(lián)。echo 192.168.43.36 master1-vsp.com>> /etc/hostsecho 192.168.43.34 slave1-vsp.com>> /etc/hostsecho 192.168.43.35 slave2-vsp.com>> /etc/hosts8、執(zhí)行完成之后通過cat /etc/hosts命令查看是否執(zhí)行成功。cat /etc/hosts9、重新啟動(dòng)計(jì)算機(jī)reboot

四、配置系統(tǒng)參數(shù)（每臺(tái)服務(wù)器都需要操作）

1、修改swappiness，建議將/proc/sys/vm/swappiness設(shè)置為0，默認(rèn)值為60sysctl vm.swappiness=0echo vm.swappiness=0 >> /etc/sysctl.conf2、執(zhí)行如下命令以在重啟后保存上條命令設(shè)置結(jié)果，該設(shè)置重啟后不會(huì)丟失，執(zhí)行如下命令：cat >> /etc/sysctl.conf <<EOFvm.swappiness = 10EOF3、修改transparent_hugepage，使用root用戶執(zhí)行以下命令可立即生效echo never >/sys/kernel/mm/transparent_hugepage/defrag4、使用root用戶執(zhí)行如下命令可永久生效echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >>/etc/rc.local 5、執(zhí)行下面命令驗(yàn)證上面的永久生效命令是否執(zhí)行成功，cat /etc/rc.local6、關(guān)閉防火墻#停止firewallsystemctl stop firewalld.service#禁止firewall開機(jī)啟動(dòng)systemctl disable firewalld.service #查看默認(rèn)防火墻狀態(tài)（關(guān)閉后顯示notrunning，開啟后顯示running）firewall-cmd --state7、關(guān)閉selinux 使用root用戶執(zhí)行如下命令：setenforce 0sed -i.bak 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinuxsed -i.bak 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

五、安裝軟件源服務(wù)

1、上傳文件（只在master1-vsp.com服務(wù)器上執(zhí)行該操作）使用root用戶登錄到master1-vsp.com服務(wù)器上，并通過xftp工具將redhat（將系統(tǒng)鏡像文件解壓后里面的所有文件都拷貝到這里面）、CDH、cm5、mysql-package以及jdk文件夾上傳到master1-vsp.com服務(wù)器的/var/www/html/目錄下。 2、有可能/var/www/html/目錄不存在，如果不存在請(qǐng)先創(chuàng)建該文件夾，創(chuàng)建文件件命令如下：mkdir -p /var/www/html3、建立臨時(shí)web服務(wù)（只在master1-vsp.com服務(wù)器上執(zhí)行該操作）使用root用戶執(zhí)行service httpd status命令，如果出現(xiàn)Loaded: not-found (Reason: No such file or directory)相關(guān)字樣則表示該操作系統(tǒng)沒有http服務(wù)service httpd status4、以root用戶執(zhí)行以下命令cd /var/www/html/python -m SimpleHTTPServer 80 &5、通過瀏覽器訪問 http://192.168.43.36/地址，如果顯示下面的界面，則表示已經(jīng)建立了一個(gè)臨時(shí)的web服務(wù)器。6、配置yum地址(該步驟需要在每臺(tái)機(jī)器上執(zhí)行)使用root用戶執(zhí)行l(wèi)l /etc/yum.repos.d/命令，查看系統(tǒng)原有的軟件源配置文件，ll /etc/yum.repos.d/7、通過mv命令將原有的配置文件進(jìn)行重命名mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backmv /etc/yum.repos.d/CentOS-Debuginfo.repo /etc/yum.repos.d/CentOS-Debuginfo.repo.backmv /etc/yum.repos.d/CentOS-Media.repo /etc/yum.repos.d/CentOS-Media.repo.backmv /etc/yum.repos.d/CentOS-Vault.repo /etc/yum.repos.d/CentOS-Vault.repo.back8、再次執(zhí)行l(wèi)l /etc/yum.repos.d/命令查看一下原有的配置文件是否都已經(jīng)更名了，如果沒有則文件再次更名。9、配置軟件源(該步驟需要在每臺(tái)機(jī)器上執(zhí)行)使用root用戶執(zhí)行echo命令，在/etc/yum.repos.d/目錄創(chuàng)建名稱為os.repo文件。echo [base] >> /etc/yum.repos.d/os.repoecho name=redhat-7.2 Base >> /etc/yum.repos.d/os.repoecho baseurl = http://master1-vsp.com/redhat/>> /etc/yum.repos.d/os.repoecho gpgcheck = 0 >> /etc/yum.repos.d/os.repo10、通過cat /etc/yum.repos.d/os.repo命令查看文件是否正確創(chuàng)建并且正確寫入了對(duì)應(yīng)的文字cat /etc/yum.repos.d/os.repo使用root用戶執(zhí)行yum clean all命令清理軟件源yum clean all11、安裝Web服務(wù)器（只在master1-vsp.com服務(wù)器上執(zhí)行該操作）使用root用戶執(zhí)行yum install httpd命令安裝http服務(wù)yum install httpd12、啟動(dòng)http服務(wù)（只在master1-vsp.com服務(wù)器上執(zhí)行該操作）ps -ef|grep python chkconfig httpd on13、執(zhí)行上面的命令后找到端口號(hào)為80，進(jìn)程名稱為SimpleHTTPServer的進(jìn)程號(hào)，并執(zhí)行kill命令，殺死該進(jìn)程kill -9 1228014、使用root用戶執(zhí)行下面命令啟動(dòng)web服務(wù)器，并將之設(shè)置為自動(dòng)啟動(dòng)。systemctl start httpd systemctl enable httpd.service

六、安裝基礎(chǔ)服務(wù)

1、建立root用戶之間的互信，創(chuàng)建密鑰（每臺(tái)服務(wù)器都需要操作）cd ~ssh-keygen -t rsa2、創(chuàng)建共享文件（只在master1-vsp.com服務(wù)器上執(zhí)行該操作）cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 600 ~/.ssh/authorized_keys 3、將共享文件復(fù)制到其他4臺(tái)機(jī)器上scp ~/.ssh/authorized_keys root@slave1-vsp.com:~/.ssh/scp ~/.ssh/authorized_keys root@slave2-vsp.com:~/.ssh/ 4、確認(rèn)能夠互相免密碼登錄(master1-vsp.com服務(wù)器上執(zhí)行該操作）使用root用戶，通過ssh命令直接登錄到其他4臺(tái)服務(wù)器上。ssh slave1-vsp.comssh slave2-vsp.com 5、配置服務(wù)器之間的時(shí)鐘同步使用root用戶通過date命令查詢?cè)摲?wù)器的時(shí)區(qū)date如果不含CST字符，則將時(shí)區(qū)更改為正常的中國(guó)時(shí)區(qū)，用root用戶執(zhí)行l(wèi)n命令ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime6、安裝ntp服務(wù)（每臺(tái)服務(wù)器都需要操作） 用root用戶執(zhí)行下面的命令，安裝ntp服務(wù)。yum install ntp7、配置ntp服務(wù)（只在master1-vsp.com服務(wù)器上執(zhí)行該操作）使用root用戶編輯/etc/ntp.conf文件vi /etc/ntp.conf8、注釋掉網(wǎng)絡(luò)服務(wù)器地址，并在其后添加server 127.127.1.0 iburst local clock；并且在#restrict的下一行添加restrict 0.0.0.0 mask 0.0.0.0 nomodify。9、使用root用戶執(zhí)行下面的命令，因?yàn)閏hronyd與ntpd沖突systemctl disable chronyd10、使用root用戶執(zhí)行下面的命令，啟動(dòng)ntp服務(wù)。systemctl start ntpd.service systemctl enable ntpd 11、使用root用戶執(zhí)行ntpdc -np命令，檢查ntp狀態(tài)ntpdc -np12、配置ntp客戶機(jī)（在其他4臺(tái)[非master1-vsp.com]服務(wù)器上執(zhí)行該操作）使用root用戶編輯/etc/ntp.conf文件vi /etc/ntp.conf13、注釋掉網(wǎng)絡(luò)服務(wù)器地址，并在其后添加server 192.168.43.36 iburst。注192.168.0.36 為ntp服務(wù)器的ip地址。14、使用root用戶執(zhí)行下面的命令，因?yàn)閏hronyd與ntpd沖突systemctl disable chronyd15、使用root用戶執(zhí)行下面的命令，啟動(dòng)ntp服務(wù)systemctl start ntpd.service systemctl enable ntpd16、使用root用戶執(zhí)行ntpdc -np命令，檢查ntp狀態(tài)ntpdc -np使用命令手動(dòng)同步一次時(shí)間ntpdate -u master1-vsp.com

七、安裝Mysql

1、檢查mariadb數(shù)據(jù)，（只在master1-vsp.com服務(wù)器上執(zhí)行該操作）rpm -qa | grep mariadb2、如果查詢到數(shù)據(jù)，即下圖所示，則通過rpm -e --nodeps mariadb-libs-5.5.44-2.el7.x86_64 命令卸載該數(shù)據(jù)庫(kù)rpm -e --nodeps mariadb-libs-5.5.44-2.el7.x86_643、安裝MySql數(shù)據(jù)庫(kù)使用root用戶通過tar -zxvf MySQL-5.5.44-1.linux2.6.x86_64.rpm-bundle.tar命令解壓MySQL-5.5.44-1.linux2.6.x86_64.rpm-bundle.tar文件cd /var/www/html/mysql-packagetar -xvf MySQL-5.5.44-1.linux2.6.x86_64.rpm-bundle.tar4、使用root用戶執(zhí)行下面的命令安裝MySql-server數(shù)據(jù)庫(kù)rpm -ivh MySQL-server-5.5.44-1.linux2.6.x86_64.rpm5、啟動(dòng)MySql-server服務(wù)service mysql start6、使用root用戶執(zhí)行下面的命令安裝MySql-client數(shù)據(jù)庫(kù)rpm -ivh MySQL-client-5.5.44-1.linux2.6.x86_64.rpm7、使用root用戶執(zhí)行下面的命令檢查MySql數(shù)據(jù)庫(kù)的運(yùn)行狀態(tài)service mysql status使用root用戶執(zhí)行下面的命令設(shè)置MySql自啟動(dòng)chkconfig mysql on使用root用戶執(zhí)行下面的命令查看MySql服務(wù)，結(jié)果中2、3、4、5必須為開chkconfig --list |grep mysql8、修改root用戶的密碼，2條命令一起執(zhí)行/usr/bin/mysqladmin -u root password 'vsp@admin'/usr/bin/mysqladmin -u root -h master1-vsp.com password 'vsp@admin'9、使用root用戶登錄mysql -u root -pvsp@admin10、創(chuàng)建mysql數(shù)據(jù)庫(kù)執(zhí)行下面的sql語句，創(chuàng)建4個(gè)數(shù)據(jù)庫(kù)hive、scm和oozie 、sentry，創(chuàng)建用戶hadoop并授權(quán)。密碼默認(rèn)為vsp@admincreate database hive default charset utf8 collate utf8_general_ci;create database scm default charset utf8 collate utf8_general_ci;create database sentry default charset utf8 collate utf8_general_ci;create database oozie default charset utf8 collate utf8_general_ci;CREATE USER 'hadoop'@'%' IDENTIFIED BY 'vsp@admin';CREATE USER 'hadoop'@'localhost' IDENTIFIED BY 'vsp@admin';GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'%' IDENTIFIED BY 'vsp@admin'; GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'localhost' IDENTIFIED BY 'vsp@admin';GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'master1-vsp.com' IDENTIFIED BY 'vsp@admin';grant all privileges on *.* to 'root'@'master1-vsp.com' identified by 'vsp@admin' with grant option;flush privileges;11、執(zhí)行下面的sql語句，檢查用戶是否創(chuàng)建成功select user,host,password from mysql.user;

八、安裝cm服務(wù)

1、卸載openjdk（每臺(tái)服務(wù)器都需要操作）redhat操作系統(tǒng)可能會(huì)自帶openjdk，在安裝CM服務(wù)之前需要將其卸載。使用rpm -qa | grep java命令查看系統(tǒng)是否安裝了openjdk。rpm -qa | grep java2、系統(tǒng)中安裝了其他版本的jdk，此時(shí)通過命令rpm -e --nodeps packageName，將其他的jdk卸載。rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64 java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64 java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64 tzdata-java-2015g-1.el7.noarch javapackages-tools-3.4.1-11.el7.noarch java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64 3、安裝oracle jdk1.7（每臺(tái)服務(wù)器都需要操作）使用root用戶創(chuàng)建softs目錄mkdir /softs4、使用root用戶將基礎(chǔ)軟件\jdk\下面的jdk-7u80-linux-x64.rpm文件上傳到redhat操作系統(tǒng)/softs目錄下，然后執(zhí)行rpm -ivh jdk-7u80-linux-x64.rpm命令安裝jdk。rpm -ivh /softs/jdk-7u80-linux-x64.rpm5、使用下面的命令查看剛剛安裝的jdk目錄cd /usr/java/ll6、配置java系統(tǒng)環(huán)境變量，使用vi編輯器編輯/etc/profile文件，在該文件末尾添加下列表格內(nèi)容export JAVA_HOME=/usr/java/jdk1.7.0_80export JRE_HOME=/usr/java/jdk1.7.0_80/jreexport LD_LIBRARY_PATH=/usr/local/bin:/usr/local/lib:/usr/lib:/home/hadoop/hadoop-2.3.0-cdh5.1.2/lib/nativeexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$LD_LIBRARY_PATH:$PATH 7、使用source /etc/profile命令使得環(huán)境變量立即生效source /etc/profile8、使用java -version命令查詢java版本java -version9、安裝cm服務(wù)（只在master1-vsp.com服務(wù)器上執(zhí)行該操作）使用tar命令將文件進(jìn)行解壓 ，命令中的文件名是正確的，不要更改。tar -zxvf /var/www/html/cm5/cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz -C /opt/chmod 777 -R /opt/cm-5.7.0 10、使用cp命令將mysql-connector-java-5.1.40-bin.jar文件復(fù)制到/opt/cm-5.7.0/share/cmf/lib/cp /var/www/html/cm5/mysql-connector-java-5.1.40-bin.jar /opt/cm-5.7.0/share/cmf/lib/chmod 777 /opt/cm-5.7.0/share/cmf/lib/mysql-connector-java-5.1.40-bin.jar 11、使用命令配置cm使用的元數(shù)據(jù)庫(kù)，如果機(jī)器名、用戶名密碼不是按照本文前面部分規(guī)劃，請(qǐng)根據(jù)實(shí)際情況修改/opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hmaster1-vsp.com -uroot -pvsp@admin --scm-host master1-vsp.com scm scm scm12、通過vi命令修改/opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini中的server_host為主節(jié)點(diǎn)的主機(jī)名master1-vsp.com。vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini13、一條一條執(zhí)行如下命令，即可以將agent同步到其他4臺(tái)服務(wù)器上。scp -r /opt/cm-5.7.0 root@slave1-vsp.com:/opt/scp -r /opt/cm-5.7.0 root@slave2-vsp.com:/opt/14、在master1-vsp.com服務(wù)器上為server創(chuàng)建cloudera-scm用戶useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scmchown cloudera-scm:cloudera-scm -R /opt/cm-5.7.0 15、在所有服務(wù)器上為agent創(chuàng)建cloudera-scm用戶，不創(chuàng)建起不來agent,報(bào)unable to create the pidfile;useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-agent/ --create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scmchown cloudera-scm:cloudera-scm -R /opt/cm-5.7.0 16、使用root在所有節(jié)點(diǎn)機(jī)器上執(zhí)行下面這條命令 ！！！chmod 777 -R /opt/cm-5.7.017、在master1-vsp.com服務(wù)器上執(zhí)行命令啟動(dòng)server以及agent服務(wù)/opt/cm-5.7.0/etc/init.d/cloudera-scm-server start/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start 18、在其他4臺(tái)服務(wù)器上執(zhí)行命令啟動(dòng)agent服務(wù)/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start

九、安裝CDH5
1、打開瀏覽器并輸入Cloudera Manager控制臺(tái)地址，（如：http://master1-vsp.com:7180/）默認(rèn)賬號(hào)密碼admin/admin1、

2、選擇免費(fèi)版本(cloudera express)，繼續(xù)

3、點(diǎn)擊當(dāng)前管理的主機(jī)，勾選集群中的所有的機(jī)器，選擇繼續(xù)

會(huì)彈出如下界面，點(diǎn)擊使用parcel，再點(diǎn)擊更多選項(xiàng)：

會(huì)彈出如下對(duì)話框：

點(diǎn)擊右邊的減號(hào)，全部刪除

點(diǎn)擊加號(hào)，添加parcel庫(kù)，把以下一個(gè)庫(kù)全部加入parcel，http://master1-vsp.com/CDH/5.7.0，如下圖：

點(diǎn)擊保存，會(huì)彈出如下界面，繼續(xù)


4、選擇自定義服務(wù)

選擇HBase、HDFS、YARN(MR2 Included)以及ZooKeeper服務(wù)后點(diǎn)擊繼續(xù)







繼續(xù)


Datanode目錄，一般是根據(jù)子節(jié)點(diǎn)的分區(qū)情況填寫；

Namenode目錄一般是根據(jù)主節(jié)點(diǎn)的分區(qū)情況填寫

繼續(xù)

完成

總結(jié)

以上是生活随笔為你收集整理的CDH大数据平台搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。