日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 >

CDH 和ambari之间的比较

發(fā)布時間:2025/3/15 23 豆豆
生活随笔 收集整理的這篇文章主要介紹了 CDH 和ambari之间的比较 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

目前啊,都知道,大數(shù)據(jù)集群管理方式分為手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)

?

1 什么是CDH,ambari?

Apache Ambari是一種基于Web的工具,支持Apache Hadoop集群的供應(yīng)、管理和監(jiān)控。Ambari已支持大多數(shù)Hadoop組件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5個頂級hadoop管理工具之一。Ambari能夠安裝安全的(基于Kerberos)Hadoop集群,以此實現(xiàn)了對Hadoop 安全的支持,提供了基于角色的用戶認證、授權(quán)和審計功能,并為用戶管理集成了LDAP和Active Directory。

CDH簡介 

  ? Cloudera's Distribution, including Apache Hadoop
  ? 是Hadoop眾多分支中的一種,由Cloudera維護,基于穩(wěn)定版本的Apache Hadoop構(gòu)建
  ? 提供了Hadoop的核心
    – 可擴展存儲
    – 分布式計算
  ? 基于Web的用戶界面

    

?

CDH的優(yōu)點  

  ? 版本劃分清晰
  ? 版本更新速度快
  ? 支持Kerberos安全認證
  ? 文檔清晰
  ? 支持多種安裝方式(Cloudera Manager方式

?

2? 為什么需要他們

  ? 1000臺服務(wù)器的集群,最少要花費多長時間來搭建好Hadoop集群,包括Hive、Hbase、Flume、Kafka、Spark等等
  ? 只給你一天時間,完成以上工作?
  ? 對于以上集群進行hadoop版本升級,你會選擇什么升級方案,最少要花費多長時間?

  ? 新版本的Hadoop,與Hive、Hbase、Flume、Kafka、Spark等等兼容?

大數(shù)據(jù)集群管理方式分為手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)

  ?手工部署呢,需配置太多參數(shù),但是,好理解其原理,建議初學(xué)這樣做,能學(xué)到很多。該方式啊,均得由用戶執(zhí)行,細節(jié)太多,切當(dāng)設(shè)計多個組件時,用戶須自己解決組件間版本兼容問題。

  ?工具部署呢,比如Ambari或Cloudera Manger。(當(dāng)前兩大最主流的集群管理工具,前者是Hortonworks公司,后者是Cloudera公司)使用工具來,可以說是一鍵操作,難點都在工具Ambari或Cloudera Manger本身部署上。

?

?

             手工方式                 工具方式

難易度        難,幾乎不可能成功              簡單,易行

兼容性        自己解決組件兼容性問題            自動安裝兼容組件

組件支持數(shù)      支持全部組件                 支持常用組件

優(yōu)點         對組件和集群管理深刻             ?簡單、容易、可行

缺點         太復(fù)雜,不可能成功              屏蔽太多細節(jié),妨礙對組件理解

?

?

?

工具名  ? ? ? ? ? ? ? ? 市場占有率    所屬機構(gòu)     開源性   社區(qū)支持性    易用性、穩(wěn)定性      

Cloudera Manger? ? ? ? ? ? ? 高? ? ? ? ? ? ? ? ???Cloudera    ? ? 商用   ? ? ? 不支持 ? ? ? ? ? ? ? ?易用、穩(wěn)定         ? ?

Ambari      ? ? ? ?較高? ? ? ? ? ?? ? ? Hortonwork    ?開源     支持   ? ?   較易用、較穩(wěn)定     

?

?

?

?

?

?

CDH和Ambari相互比較

出版商:

hortonworks研發(fā)了Ambari和hdp的大數(shù)據(jù)分析集成平臺
cloudera研發(fā)了cloudera manger和cdh大數(shù)據(jù)分析集成平臺
穩(wěn)定性:

cloudera相對來說比較穩(wěn)定
ambari相對來說不穩(wěn)定(頁面打開速度慢)
資源消耗:

cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和service monitor總共大概1G
ambari的server端Xmx是2G,metric的ams和hbase的env大概也就是2G
集群重啟:

cloudera支持滾動重啟(hdfs需要設(shè)計成ha,才能滾動重啟)
ambari支持滾動重啟(hdfs需要設(shè)計成ha,才能滾動重啟)
集群升級(一般來講不要輕易升級集群):

cloudera不支持滾動升級服務(wù)
ambari支持滾動升級服務(wù)(這個是ambari的優(yōu)點,hdfs必須是ha)
二次開發(fā):

cloudera不支持
ambari支持
服務(wù)版本:

cloudera較老
ambari較新
服務(wù)集成性:

cloudera較弱
ambari較強,支持es、redis、presto、kylin等
體驗效果:

cloudera好
ambari相對差
安裝過程:

cloudera復(fù)雜
ambari簡單
郵件報警:

cloudera支持不好
ambari支持很好
安裝包:

cloudera是parcel包
ambari是rpm包
總結(jié):

不要輕易升級組件版本

如果對集成性要求高,穩(wěn)定性相對弱點的,可以選擇ambari

如果對穩(wěn)定性要求高,集成性相對弱點的,可以選擇cloudera

?

?

?

?

?

?


 

?

?

?

?

?

  ?

總結(jié)

以上是生活随笔為你收集整理的CDH 和ambari之间的比较的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。