Ambari搭建hadoop集群

Ambari提供了對(duì)Hadoop更加方便快捷的管理功能，主要包含：

通過(guò)一步一步的安裝向?qū)Ш?jiǎn)化了集群供應(yīng)。

預(yù)先配置好關(guān)鍵的運(yùn)維指標(biāo)（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相關(guān)項(xiàng)目（如HBase、Hive和HCatalog）是否健康。

支持作業(yè)與任務(wù)執(zhí)行的可視化與分析，能夠更好地查看依賴(lài)和性能。

通過(guò)一個(gè)完整的RESTful API把監(jiān)控信息暴露出來(lái)，集成了現(xiàn)有的運(yùn)維工具。

用戶(hù)界面非常直觀，用戶(hù)可以輕松有效地查看信息并控制集群。

使用Ambari部署Hadoop集群

配置說(shuō)明

主機(jī)：

node-1 : 192.168.10.11, 配置：2C8G-30G ，yum 鏡像源,數(shù)據(jù)庫(kù), java環(huán)境

node-2 : 192.168.10.12, 配置：2C8G-30G ，java環(huán)境

node-2 : 192.168.10.12, 配置：2C8G-30G , java環(huán)境

軟件包 Hadoop 軟件鏡像壓縮包，Ambari鏡像壓縮包，版本2.6

配置本地yum源

1、在node-1上配置hadoop所有組件的yum源。安裝httpd:

yum install httpd -y

2、在官方下載鏡像文件,此文件大概7G，可以使用p2p工具下載，其中包含兩個(gè)repo文件和4個(gè)壓縮包：

wget 

3、將對(duì)應(yīng)的tar包解壓到httpd的文件目錄：

tar xf ambari-2.6.1.0-centos7.tar.gz
tar xf HDP-2.6.4.0-centos7-rpm.tar.gz 
tar xf HDP-GPL-2.6.4.0-centos7-rpm.tar.gz 
mkdir HDP-UTILS
tar xf HDP-UTILS-1.1.0.22-centos7.tar.gz -C HDP-UTILS/

4、配置基礎(chǔ)源，創(chuàng)建hadoop的repo文件，修改repo文件源路徑：

vim /etc/yum.repo.d/ambari.repo
[ambari-2.6.1.0]
name=ambari Version - ambari-2.6.1.0
baseurl=http://192.168.10.11/ambari/centos7/2.6.1.0-143
gpgcheck=1
gpgkey=http://192.168.10.11/ambari/centos7/2.6.1.0-143/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

# HDP源：vim /etc/yum.repo.d/hdp.repo

#VERSION_NUMBER=2.6.4.0-91
[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://192.168.10.11/HDP/centos7/2.6.4.0-91
gpgcheck=1
gpgkey=http://192.168.10.11/HDP/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://192.168.10.11/HDP-UTILS/
gpgcheck=1
gpgkey=http://192.168.10.11/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-GPL-2.6.4.0]
name=HDP-GPL Version - HDP-GPL-2.6.4.0
baseurl=http://192.168.10.11/HDP-GPL/centos7/2.6.4.0-91
gpgcheck=1
gpgkey=http://192.168.10.11/HDP-GPL/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

啟動(dòng)httpd。

5、將本地源的repo配置拷貝到其它節(jié)點(diǎn)，并創(chuàng)建緩存：

[root@node-1 ~]# scp /etc/yum.repos.d/ambari.repo 192.168.10.12:/etc/yum.repos.d/
[root@node-1 ~]# scp /etc/yum.repos.d/ambari.repo 192.168.10.13:/etc/yum.repos.d/
[root@node-1 ~]# scp /etc/yum.repos.d/hdp.repo 192.168.10.12:/etc/yum.repos.d/
[root@node-1 ~]# scp /etc/yum.repos.d/hdp.repo 192.168.10.13:/etc/yum.repos.d/

在各個(gè)節(jié)點(diǎn)創(chuàng)建緩存：

# yum clean all
# yum makecache fast

初始化環(huán)境

1、各個(gè)節(jié)點(diǎn)安裝java-1.8.0-openjdk:

 yum install java-1.8.0-openjdk -y

2、解析主機(jī)名：

 echo "192.168.10.11 node-1" >> /etc/hostsecho "192.168.10.12 node-2" >> /etc/hostsecho "192.168.10.13 node-3" >> /etc/hosts

3、創(chuàng)建主機(jī)信任關(guān)系，主要是master節(jié)點(diǎn)到slave節(jié)點(diǎn)：

 [root@node-1 ~]# ssh-keygen -t rsa[root@node-1 ~]# cp id_rsa.pub /root/.ssh/authorized_keys[root@node-1 ~]# scp id_rsa.pub 192.168.10.12:/root/.ssh/authorized_keys[root@node-1 ~]# scp id_rsa.pub 192.168.10.13:/root/.ssh/authorized_keys

4、安裝配置數(shù)據(jù)庫(kù)：

yum install mariadb-server -y
systemctl start mariadb
mysql_secure_installation 

# 創(chuàng)建數(shù)據(jù)庫(kù)：

MariaDB [(none)]> create database ambari default character set utf8;
Query OK, 1 row affected (0.00 sec)MariaDB [(none)]> grant all on ambari.* to ambari@localhost identified by 'bigdata';
Query OK, 0 rows affected (0.00 sec)MariaDB [(none)]> grant all on ambari.* to ambari@'%' identified by 'bigdata';
Query OK, 0 rows affected (0.00 sec)MariaDB [(none)]> create database hive default character set utf8;
Query OK, 1 row affected (0.00 sec)MariaDB [(none)]> grant all on hive.* to hive@localhost identified by 'hive';
Query OK, 0 rows affected (0.00 sec)MariaDB [(none)]> grant all on hive.* to hive@'%' identified by 'hive';

安裝Amabri服務(wù)

1、在node-1上安裝ambari-server,并啟動(dòng)配置向?qū)?

[root@node-1 ~]# yum install ambari-server -y
[root@node-1 ~]# ambari-server setup 

提示: 如果安裝配置用戶(hù)時(shí)，出現(xiàn)如下報(bào)錯(cuò)：

ERROR: Unexpected error 'getpwuid(): uid not found: 1001'，可以查看ambari.repo文件的權(quán)限，修改為默認(rèn)的root 644權(quán)限即可。

2、按照配置向?qū)畔?#xff0c;配置用戶(hù)，java_home:

 [root@node-1 ~]# ambari-server setup

3、到上面一步時(shí)，根據(jù)提示上傳mysql的 jdbc驅(qū)動(dòng)，并修改配置文件，指定jdbc驅(qū)動(dòng)文件位置：

 cd /usr/share/javatar xf mysql-connector-java-5.1.45.tar.gz mv mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar ./

修改配置文件：

 vim /etc/ambari-server/conf/ambari.properties 
server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.45-bin.jar

配置完成后繼續(xù)，會(huì)出現(xiàn)如下提示：

4、出現(xiàn)上述提示時(shí)，根據(jù)信息導(dǎo)入數(shù)據(jù)庫(kù)：

mysql -uroot -p ambari < /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

5、啟動(dòng)服務(wù)：

[root@node-1 ~]# ambari-server start

6、服務(wù)啟動(dòng)成功后，會(huì)監(jiān)聽(tīng)8080端口，使用瀏覽器登錄，賬號(hào)密碼admin/admin正常登錄，則安裝完成。

創(chuàng)建集群

使用ambari的web界面可完成對(duì)集群的所有管理操作，創(chuàng)建一個(gè)實(shí)例集群。

1.設(shè)置集群名稱(chēng)并配置HDP安裝包

步驟1：單擊Launch Install Wizard按鈕進(jìn)入新建集群向?qū)?/p>

步驟2：

步驟3：

步驟4：

步驟5：

2.配置集群

a.配置主機(jī)注冊(cè)信息

步驟1：

步驟2：

步驟3：

b.注冊(cè)服務(wù)器

c.安裝服務(wù)

步驟1：

步驟2：

步驟3：

步驟4：

關(guān)閉防火墻和SELinux

執(zhí)行service iptables stop命令關(guān)閉防火墻

chkconf ig iptables off來(lái)檢查防火墻是否關(guān)閉

打開(kāi)/etc/selinux/config 修改SELINUX=disable來(lái)禁用SELinux

Ambari-Server的目錄結(jié)構(gòu)

配置目錄：/etc/ambari-server/conf Ambari的配置文件會(huì)全部放在這個(gè)目錄下

日志目錄：/var/log/ambari-server Ambari自身的服務(wù)日志會(huì)放在這個(gè)目錄下

Hadoop服務(wù)組件目錄：/usr/hdp 通過(guò)Ambari安裝的hadoop組件會(huì)放在這個(gè)目錄下

Ambari服務(wù)目錄：/usr/lib/ambari-server Ambari自身的服務(wù)會(huì)安裝到這個(gè)目錄下

Ambari控制臺(tái)功能簡(jiǎn)介

1.集群服務(wù)管理

a.集群用戶(hù)

b.集群服務(wù)控制與監(jiān)控

2.集群服務(wù)配置

3.輔助工具

a.HDFS文件工具

b.Hive查詢(xún)工具

c.YARN任務(wù)隊(duì)列管理

d.自助式分析系統(tǒng)

構(gòu)建企業(yè)級(jí)平臺(tái)的安全方案

1.訪問(wèn)控制

a.Knox網(wǎng)關(guān)

Knox網(wǎng)關(guān) Knox是一款用于保護(hù)Hadoop生態(tài)體系安全的代理網(wǎng)關(guān)系統(tǒng)，為Hadoop集群提供唯一的代理入口。

Knox網(wǎng)關(guān)本質(zhì)上是一款基于Jetty實(shí)現(xiàn)的高性能反向代理服務(wù)器，通過(guò)內(nèi)置的過(guò)濾器來(lái)處理URL請(qǐng)求，支持使用LDAP進(jìn)行用戶(hù)身份認(rèn)證。

b.LDAP

c.驗(yàn)證Knox網(wǎng)關(guān)

2.數(shù)據(jù)授權(quán)與管理

a.Ranger

b.安裝Ranger

c.Ranger功能介紹

Hadoop服務(wù)安全方案

引入Kerberos認(rèn)證機(jī)制。通過(guò)集成Kerberos協(xié)議，就能夠使用Kerberos用戶(hù)代替服務(wù)器本地的Linux用戶(hù)，從而讓大數(shù)據(jù)平臺(tái)中的Hadoop相關(guān)服務(wù)全部使用Kerberos用戶(hù)通過(guò)它的認(rèn)證中心進(jìn)行認(rèn)證，以大幅提高平臺(tái)的安全性。

1.Kerberos簡(jiǎn)介

a.核心概念

b.認(rèn)證流程

2.使用FreeIPA安裝Kerberos和LDAP

安裝FreeIPA

IPA-Server管理控制臺(tái)功能

a.用戶(hù)管理

b.主機(jī)管理

c.服務(wù)管理

d.密碼策略

IPA CLI功能

a.使用遠(yuǎn)程登錄

b.創(chuàng)建用戶(hù)

c.創(chuàng)建本地登錄

d.創(chuàng)建keytab文件

開(kāi)啟Ambari的Kerberos安全選項(xiàng)

1.集成前的準(zhǔn)備

a.新建Ambari組

b.安裝IPA-Client

c.安裝IPA-Admin管理工具

集成IPA

a.開(kāi)啟IPA集成選項(xiàng)

b.確認(rèn)檢查項(xiàng)

c.設(shè)置Kerberos信息

d.安裝和測(cè)試Kerberos客戶(hù)端

e.確認(rèn)配置

單點(diǎn)登錄與用戶(hù)管理

1.集成單點(diǎn)登錄

集成思路

1).首先需要引入一個(gè)單點(diǎn)登錄系統(tǒng)CAS

2).將Knox代理網(wǎng)關(guān)與CAS集成，這樣在訪問(wèn)Knox網(wǎng)關(guān)代理的各種Web UI和RESTful服務(wù)的時(shí)候，所有的服務(wù)請(qǐng)求都會(huì)被統(tǒng)一的重定向到CAS系統(tǒng)的登錄頁(yè)面進(jìn)行認(rèn)證

3).設(shè)置Ranger和Ambari的登錄策略，讓 兩個(gè)系統(tǒng)委托Knox代理網(wǎng)關(guān)的認(rèn)證服務(wù)進(jìn)行登錄驗(yàn)證。當(dāng)用戶(hù)訪問(wèn)Ranger或是Ambari的Web管理控制臺(tái)時(shí)，都會(huì)被重定向到CAS的登錄頁(yè)面進(jìn)行認(rèn)證

a.CASuCAS的認(rèn)證方式指向IPA附帶的LDAP服務(wù)，這樣用戶(hù)可以直接使用Kerberos用戶(hù)進(jìn)行登錄。通過(guò)IPA創(chuàng)建一個(gè)Kerberos用戶(hù)的時(shí)候，它會(huì)自動(dòng)在LDAP服務(wù)中創(chuàng)建一個(gè)完全一樣的用戶(hù)，包括用戶(hù)名和密碼。

a.CAS (Central Authentication Service)是一款十分流行的單點(diǎn)登錄框架。CAS架構(gòu)上 CAS Server和CAS Client兩個(gè)部分，CAS Server是統(tǒng)一的認(rèn)證服務(wù)器，所有未經(jīng)授權(quán)的請(qǐng)求都會(huì)重定向到這里進(jìn)行認(rèn)證。CAS Client則代表需要通過(guò)CAS Server進(jìn)行認(rèn)證的應(yīng)用服務(wù)。

安裝CAS Server

下載

apereo/cas?github.com

解壓到Ambari-Server所在的服務(wù)器上。

進(jìn)入到modules目錄下找到一個(gè)名為cas-server-webapp-4.0.0.war的文件，這就是CAS-Server程序

接著將cas-server-webapp-4.0.0.war拷貝到Tomcat服務(wù)的webapps目錄下。

b.配置LDAP認(rèn)證策略

c.配置Tomcat安全證書(shū)

d.啟動(dòng)CAS-Server

其實(shí)就是啟動(dòng)Tomcat服務(wù) 進(jìn)入tomcat/bin 執(zhí)行startup腳本啟動(dòng)服務(wù)

./startup

總結(jié)

以上是生活随笔為你收集整理的hadoop集群_Ambari搭建hadoop集群的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。