Ambari搭建hadoop集群

Ambari提供了對Hadoop更加方便快捷的管理功能，主要包含：

通過一步一步的安裝向導簡化了集群供應。

預先配置好關鍵的運維指標（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相關項目（如HBase、Hive和HCatalog）是否健康。

支持作業與任務執行的可視化與分析，能夠更好地查看依賴和性能。

通過一個完整的RESTful API把監控信息暴露出來，集成了現有的運維工具。

用戶界面非常直觀，用戶可以輕松有效地查看信息并控制集群。

使用Ambari部署Hadoop集群

配置說明

主機：

node-1 : 192.168.10.11, 配置：2C8G-30G ，yum 鏡像源,數據庫, java環境

node-2 : 192.168.10.12, 配置：2C8G-30G ，java環境

node-2 : 192.168.10.12, 配置：2C8G-30G , java環境

軟件包 Hadoop 軟件鏡像壓縮包，Ambari鏡像壓縮包，版本2.6

配置本地yum源

1、在node-1上配置hadoop所有組件的yum源。安裝httpd:

yum install httpd -y

2、在官方下載鏡像文件,此文件大概7G，可以使用p2p工具下載，其中包含兩個repo文件和4個壓縮包：

wget 

3、將對應的tar包解壓到httpd的文件目錄：

tar xf ambari-2.6.1.0-centos7.tar.gz
tar xf HDP-2.6.4.0-centos7-rpm.tar.gz 
tar xf HDP-GPL-2.6.4.0-centos7-rpm.tar.gz 
mkdir HDP-UTILS
tar xf HDP-UTILS-1.1.0.22-centos7.tar.gz -C HDP-UTILS/

4、配置基礎源，創建hadoop的repo文件，修改repo文件源路徑：

vim /etc/yum.repo.d/ambari.repo
[ambari-2.6.1.0]
name=ambari Version - ambari-2.6.1.0
baseurl=http://192.168.10.11/ambari/centos7/2.6.1.0-143
gpgcheck=1
gpgkey=http://192.168.10.11/ambari/centos7/2.6.1.0-143/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

# HDP源：vim /etc/yum.repo.d/hdp.repo

#VERSION_NUMBER=2.6.4.0-91
[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://192.168.10.11/HDP/centos7/2.6.4.0-91
gpgcheck=1
gpgkey=http://192.168.10.11/HDP/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://192.168.10.11/HDP-UTILS/
gpgcheck=1
gpgkey=http://192.168.10.11/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-GPL-2.6.4.0]
name=HDP-GPL Version - HDP-GPL-2.6.4.0
baseurl=http://192.168.10.11/HDP-GPL/centos7/2.6.4.0-91
gpgcheck=1
gpgkey=http://192.168.10.11/HDP-GPL/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

啟動httpd。

5、將本地源的repo配置拷貝到其它節點，并創建緩存：

[root@node-1 ~]# scp /etc/yum.repos.d/ambari.repo 192.168.10.12:/etc/yum.repos.d/
[root@node-1 ~]# scp /etc/yum.repos.d/ambari.repo 192.168.10.13:/etc/yum.repos.d/
[root@node-1 ~]# scp /etc/yum.repos.d/hdp.repo 192.168.10.12:/etc/yum.repos.d/
[root@node-1 ~]# scp /etc/yum.repos.d/hdp.repo 192.168.10.13:/etc/yum.repos.d/

在各個節點創建緩存：

# yum clean all
# yum makecache fast

初始化環境

1、各個節點安裝java-1.8.0-openjdk:

 yum install java-1.8.0-openjdk -y

2、解析主機名：

 echo "192.168.10.11 node-1" >> /etc/hostsecho "192.168.10.12 node-2" >> /etc/hostsecho "192.168.10.13 node-3" >> /etc/hosts

3、創建主機信任關系，主要是master節點到slave節點：

 [root@node-1 ~]# ssh-keygen -t rsa[root@node-1 ~]# cp id_rsa.pub /root/.ssh/authorized_keys[root@node-1 ~]# scp id_rsa.pub 192.168.10.12:/root/.ssh/authorized_keys[root@node-1 ~]# scp id_rsa.pub 192.168.10.13:/root/.ssh/authorized_keys

4、安裝配置數據庫：

yum install mariadb-server -y
systemctl start mariadb
mysql_secure_installation 

# 創建數據庫：

MariaDB [(none)]> create database ambari default character set utf8;
Query OK, 1 row affected (0.00 sec)MariaDB [(none)]> grant all on ambari.* to ambari@localhost identified by 'bigdata';
Query OK, 0 rows affected (0.00 sec)MariaDB [(none)]> grant all on ambari.* to ambari@'%' identified by 'bigdata';
Query OK, 0 rows affected (0.00 sec)MariaDB [(none)]> create database hive default character set utf8;
Query OK, 1 row affected (0.00 sec)MariaDB [(none)]> grant all on hive.* to hive@localhost identified by 'hive';
Query OK, 0 rows affected (0.00 sec)MariaDB [(none)]> grant all on hive.* to hive@'%' identified by 'hive';

安裝Amabri服務

1、在node-1上安裝ambari-server,并啟動配置向導:

[root@node-1 ~]# yum install ambari-server -y
[root@node-1 ~]# ambari-server setup 

提示: 如果安裝配置用戶時，出現如下報錯：

ERROR: Unexpected error 'getpwuid(): uid not found: 1001'，可以查看ambari.repo文件的權限，修改為默認的root 644權限即可。

2、按照配置向導信息，配置用戶，java_home:

 [root@node-1 ~]# ambari-server setup

3、到上面一步時，根據提示上傳mysql的 jdbc驅動，并修改配置文件，指定jdbc驅動文件位置：

 cd /usr/share/javatar xf mysql-connector-java-5.1.45.tar.gz mv mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar ./

修改配置文件：

 vim /etc/ambari-server/conf/ambari.properties 
server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.45-bin.jar

配置完成后繼續，會出現如下提示：

4、出現上述提示時，根據信息導入數據庫：

mysql -uroot -p ambari < /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

5、啟動服務：

[root@node-1 ~]# ambari-server start

6、服務啟動成功后，會監聽8080端口，使用瀏覽器登錄，賬號密碼admin/admin正常登錄，則安裝完成。

創建集群

使用ambari的web界面可完成對集群的所有管理操作，創建一個實例集群。

1.設置集群名稱并配置HDP安裝包

步驟1：單擊Launch Install Wizard按鈕進入新建集群向導

步驟2：

步驟3：

步驟4：

步驟5：

2.配置集群

a.配置主機注冊信息

步驟1：

步驟2：

步驟3：

b.注冊服務器

c.安裝服務

步驟1：

步驟2：

步驟3：

步驟4：

關閉防火墻和SELinux

執行service iptables stop命令關閉防火墻

chkconf ig iptables off來檢查防火墻是否關閉

打開/etc/selinux/config 修改SELINUX=disable來禁用SELinux

Ambari-Server的目錄結構

配置目錄：/etc/ambari-server/conf Ambari的配置文件會全部放在這個目錄下

日志目錄：/var/log/ambari-server Ambari自身的服務日志會放在這個目錄下

Hadoop服務組件目錄：/usr/hdp 通過Ambari安裝的hadoop組件會放在這個目錄下

Ambari服務目錄：/usr/lib/ambari-server Ambari自身的服務會安裝到這個目錄下

Ambari控制臺功能簡介

1.集群服務管理

a.集群用戶

b.集群服務控制與監控

2.集群服務配置

3.輔助工具

a.HDFS文件工具

b.Hive查詢工具

c.YARN任務隊列管理

d.自助式分析系統

構建企業級平臺的安全方案

1.訪問控制

a.Knox網關

Knox網關 Knox是一款用于保護Hadoop生態體系安全的代理網關系統，為Hadoop集群提供唯一的代理入口。

Knox網關本質上是一款基于Jetty實現的高性能反向代理服務器，通過內置的過濾器來處理URL請求，支持使用LDAP進行用戶身份認證。

b.LDAP

c.驗證Knox網關

2.數據授權與管理

a.Ranger

b.安裝Ranger

c.Ranger功能介紹

Hadoop服務安全方案

引入Kerberos認證機制。通過集成Kerberos協議，就能夠使用Kerberos用戶代替服務器本地的Linux用戶，從而讓大數據平臺中的Hadoop相關服務全部使用Kerberos用戶通過它的認證中心進行認證，以大幅提高平臺的安全性。

1.Kerberos簡介

a.核心概念

b.認證流程

2.使用FreeIPA安裝Kerberos和LDAP

安裝FreeIPA

IPA-Server管理控制臺功能

a.用戶管理

b.主機管理

c.服務管理

d.密碼策略

IPA CLI功能

a.使用遠程登錄

b.創建用戶

c.創建本地登錄

d.創建keytab文件

開啟Ambari的Kerberos安全選項

1.集成前的準備

a.新建Ambari組

b.安裝IPA-Client

c.安裝IPA-Admin管理工具

集成IPA

a.開啟IPA集成選項

b.確認檢查項

c.設置Kerberos信息

d.安裝和測試Kerberos客戶端

e.確認配置

單點登錄與用戶管理

1.集成單點登錄

集成思路

1).首先需要引入一個單點登錄系統CAS

2).將Knox代理網關與CAS集成，這樣在訪問Knox網關代理的各種Web UI和RESTful服務的時候，所有的服務請求都會被統一的重定向到CAS系統的登錄頁面進行認證

3).設置Ranger和Ambari的登錄策略，讓 兩個系統委托Knox代理網關的認證服務進行登錄驗證。當用戶訪問Ranger或是Ambari的Web管理控制臺時，都會被重定向到CAS的登錄頁面進行認證

a.CASuCAS的認證方式指向IPA附帶的LDAP服務，這樣用戶可以直接使用Kerberos用戶進行登錄。通過IPA創建一個Kerberos用戶的時候，它會自動在LDAP服務中創建一個完全一樣的用戶，包括用戶名和密碼。

a.CAS (Central Authentication Service)是一款十分流行的單點登錄框架。CAS架構上 CAS Server和CAS Client兩個部分，CAS Server是統一的認證服務器，所有未經授權的請求都會重定向到這里進行認證。CAS Client則代表需要通過CAS Server進行認證的應用服務。

安裝CAS Server

下載

apereo/cas?github.com

解壓到Ambari-Server所在的服務器上。

進入到modules目錄下找到一個名為cas-server-webapp-4.0.0.war的文件，這就是CAS-Server程序

接著將cas-server-webapp-4.0.0.war拷貝到Tomcat服務的webapps目錄下。

b.配置LDAP認證策略

c.配置Tomcat安全證書

d.啟動CAS-Server

其實就是啟動Tomcat服務 進入tomcat/bin 執行startup腳本啟動服務

./startup

總結

以上是生活随笔為你收集整理的hadoop集群_Ambari搭建hadoop集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。