背景

在大數(shù)據(jù)業(yè)務(wù)系統(tǒng)中，所有技術(shù)棧生態(tài)均是圍繞著存儲進行擴展的，目前開源的主流存儲技術(shù)棧主要包含如下 3 種類型：

· HDFS：Hadoop 系列套件，包含 Hive、HBase、Phoenix 等；

· ElasticSearch：包含 Logstash、ElasticSearch、Kibana 等；

· Kudu：包含 Impala 等；

無論針對哪種存儲生態(tài)，其外層負責(zé)數(shù)據(jù)計算的技術(shù)棧很多都是通用的，例如Spark、Flink 幾乎支持讀寫所有存儲生態(tài)中的數(shù)據(jù)。對于生產(chǎn)環(huán)境而言，選擇哪一種存儲生態(tài)，往往取決于業(yè)務(wù)形態(tài)以及業(yè)務(wù)部門對不同技術(shù)棧的熟練程度。

針對大數(shù)據(jù)生態(tài)中的眾多服務(wù)，Cloudera（CDH，支持HDFS、Kudu生態(tài)）與Ambari（HDP，支持HDFS生態(tài)） 提供了部署、管理、監(jiān)控、運維大數(shù)據(jù)服務(wù)組件與大數(shù)據(jù)節(jié)點的能力。但隨著Cloudera與Ambari合二為一，CDH與 HDP合并為CDP發(fā)行版，在后續(xù)的版本中不再提供免費版功能。這對于國內(nèi)企業(yè)的大數(shù)據(jù)業(yè)務(wù)無疑增加了不少開發(fā)、運維成本，如果繼續(xù)使用免費的舊版本，將無法得到新特性的更新支持和BUG的及時修復(fù)。

在此背景下，UCloud基于多年大數(shù)據(jù)平臺開發(fā)經(jīng)驗，近日全新發(fā)布了針對私有化部署場景下的一站式智能大數(shù)據(jù)平臺USDP免費版。免費版USDP支持HDFS、Kudu、ES全生態(tài)，助力企業(yè)提升大數(shù)據(jù)開發(fā)、運維效率，快速構(gòu)建大數(shù)據(jù)業(yè)務(wù)的分析處理能力。

兼容最廣的一站式智能大數(shù)據(jù)平臺

USDP涵蓋了HDFS、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等眾多開源大數(shù)據(jù)組件，支持對這些組件進行運維、中臺建設(shè)、數(shù)據(jù)開發(fā)、業(yè)務(wù)可視化等全棧式大數(shù)據(jù)開發(fā)運維管理。USDP通過輕量、易用、傻瓜式的形態(tài)交付給用戶，支持對不同模塊進行拆分，從而實現(xiàn)高度定制化，靈活匹配各垂直行業(yè)場景下的需求。

目前，UCloud一站式智能大數(shù)據(jù)平臺USDP所支持的服務(wù)如表格所示，同時還在持續(xù)拓展更多開源生態(tài)組件服務(wù)。

相比Cloudera（CDH、CDP）、Ambari（HDP），USDP支持更多豐富的大數(shù)據(jù)服務(wù)包括Flink、Kylin、Livy、Phoenix、Tez、Elasticsearch、Kibana、Azkaban、Presto、Atlas、Kafka Eagle、ZKUI等，幾乎涵蓋了所有主流技術(shù)框架，且所支持的大數(shù)據(jù)服務(wù)之間完全兼容，用戶可以靈活選擇、按需使用。此外，UCloud大數(shù)據(jù)技術(shù)團隊持續(xù)跟進開源社區(qū)進展以及產(chǎn)品反饋，對潛在的 Bug 進行及時修復(fù)，用戶無需再考慮大數(shù)據(jù)服務(wù)之間的適配問題。在CDH訂閱付費模式下，免費版USDP無疑是當(dāng)下大數(shù)據(jù)開發(fā)運維的最佳選擇！

自研管理組件，安全可靠性更高

USDP作為UCloud大數(shù)據(jù)團隊自主研發(fā)的一站式智能大數(shù)據(jù)平臺，其整體架構(gòu)如下圖所示：

上圖中，Manager Server為USDP管理端服務(wù)，需配備一個MySQL實例存儲集群相關(guān)的元數(shù)據(jù)信息。Agent為USDP從節(jié)點控制端服務(wù)，用于管理、操作所在節(jié)點以及所在節(jié)點上的大數(shù)據(jù)服務(wù)。其中BigData Service為各類大數(shù)據(jù)服務(wù)（例如：HDFS、YARN等）。

InfluxDB、Prometheus、Grafana作為監(jiān)控服務(wù)，用于匯總并展示整個集群的監(jiān)控數(shù)據(jù)。

USDP支持最少3個節(jié)點，最多上千節(jié)點的集群規(guī)模，同時，允許Manager Server與Agent等相關(guān)服務(wù)部署在相同的節(jié)點上，這樣滿足大型業(yè)務(wù)的同時，也盡可能幫助用戶使用較小的成本滿足小型業(yè)務(wù)對數(shù)據(jù)分析的訴求。

USDP一站式智能大數(shù)據(jù)平臺的核心優(yōu)勢

?無需擔(dān)心業(yè)務(wù)綁定

USDP中所包含的大數(shù)據(jù)服務(wù)、組件，均滿足 Apache 2.0開源協(xié)議，UCloud大數(shù)據(jù)團隊在做過大量兼容性測試后，積極回饋社區(qū)，并將編譯后的兼容包全面公開發(fā)布。由于本身緊跟開源社區(qū)的步伐，用戶可以隨時進行自主替換、自主建設(shè)、自主數(shù)據(jù)遷移、集群遷移等，因此無需擔(dān)心大數(shù)據(jù)業(yè)務(wù)與閉源服務(wù)綁定。

傻瓜式部署方式

為了能讓用戶體驗到極簡的大數(shù)據(jù)部署運維、管理方案，USDP提供了豐富詳細的部署、操作文檔，并且用戶無需擔(dān)心安裝時準(zhǔn)備眾多內(nèi)容，初始化環(huán)境只需要簡單幾步，即可自動完成配置。

1-環(huán)境檢查

2-服務(wù)部署

全面豐富的監(jiān)控指標(biāo)

USDP預(yù)置的監(jiān)控指標(biāo)主要包含三部分內(nèi)容：

??JMX全量指標(biāo)采集

??Http常用指標(biāo)采集

??自定義指標(biāo)采集

以上三部分監(jiān)控數(shù)據(jù)最終將匯總于USDP的 Promethues中，并在每個服務(wù)的概覽頁面中，展示最常用的監(jiān)控指標(biāo)，同時，在Grafana中，通過 USDP官方預(yù)置的監(jiān)控模板（Dashboard），用戶可以查看最詳細監(jiān)控指標(biāo)。如果USDP預(yù)置的監(jiān)控圖標(biāo)無法滿足業(yè)務(wù)需求，用戶也可以自定義添加所需的監(jiān)控圖表。

靈活便捷的告警服務(wù)

USDP提供預(yù)置的告警模板，用戶只需要引導(dǎo)進行簡單配置，即可實現(xiàn)向不同目標(biāo)（微信、釘釘、郵件、接口調(diào)用等）發(fā)送集群指標(biāo)告警的需求。與監(jiān)控指標(biāo)的設(shè)計相似，如果用戶認為預(yù)置的告警模板無法滿足業(yè)務(wù)需求，也可以自定義對告警模板進行修改，或添加新的告警規(guī)則。

專業(yè)的技術(shù)支持

UCloud大數(shù)據(jù)團隊積淀了多年公有云大數(shù)據(jù)運維和業(yè)務(wù)調(diào)優(yōu)經(jīng)驗，通過持續(xù)更新的文檔知識庫，為用戶提供專家級技術(shù)支持，解決使用USDP的后顧之憂。

反哺開源社區(qū)

USDP免費版中所使用的開源、全面兼容優(yōu)化后的服務(wù)包，將反哺回開源社區(qū)，為開發(fā)者提供免費的下載渠道。

USDP解鎖豐富的大數(shù)據(jù)場景

使用USDP一站式智能大數(shù)據(jù)平臺，可以在各行各業(yè)中實現(xiàn)如下應(yīng)用場景。

數(shù)據(jù)倉庫

目前國內(nèi)常用的數(shù)倉模型為維度數(shù)倉，即按照事實表、維度表來構(gòu)建數(shù)據(jù)倉庫、數(shù)據(jù)集市。通過USDP一站式智能大數(shù)據(jù)平臺，用戶可以部署構(gòu)建維度數(shù)倉所需的各項服務(wù)，幫助企業(yè)快速構(gòu)建數(shù)據(jù)中臺。

機器學(xué)習(xí)

機器學(xué)習(xí)通過算法對大量數(shù)據(jù)進行分析，挖掘出其中蘊含的規(guī)律，并用于事物預(yù)測或者分類，有大量的計算需求。通過USDP一站式智能大數(shù)據(jù)平臺支持的Spark、Flink等分布式運算框架，可以高效的進行機器學(xué)習(xí)應(yīng)用開發(fā)。

信息檢索

從海量數(shù)據(jù)中快速檢索到所需信息，一直是數(shù)據(jù)應(yīng)用的重要領(lǐng)域，USDP一站式智能大數(shù)據(jù)平臺集成了分布式搜索和分析引擎Elasticsearch以及實時檢索數(shù)據(jù)庫HBase、數(shù)倉服務(wù)Kylin等，能夠提供高效的數(shù)據(jù)檢索能力，可用于構(gòu)建企業(yè)級搜索引擎、日志管理系統(tǒng)等。

最后，敲黑板劃重點：UCloud一站式智能大數(shù)據(jù)平臺USDP免費版誠邀大家參考以下方式進行下載使用。

附USDP資源下載地址：

? US3：

https://s3-cn-bj.ufileos.com/jungle111111/usdp-1.0.0.0/install/usdp-free-1.0.0.tar.gz

??百度網(wǎng)盤：

鏈接：

https://pan.baidu.com/s/1mlic-9ZbK4are52zh1mKfw?

提取碼:spp9

↓↓↓點擊文末“閱讀原文”，獲取詳細USDP安裝部署操作指南

掃碼添加UCloud大數(shù)據(jù)技術(shù)專家

備注“USDP”

邀請您加入大數(shù)據(jù)產(chǎn)品技術(shù)交流群

點擊獲取詳細USDP安裝部署操作指南

總結(jié)

以上是生活随笔為你收集整理的继CDH收费之后，这家公司率先推出了免费版大数据套件服务！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。