當(dāng)前，數(shù)字經(jīng)濟(jì)成為我國經(jīng)濟(jì)高質(zhì)量發(fā)展的新引擎，企業(yè)面臨著以大數(shù)據(jù)為核心的數(shù)字化轉(zhuǎn)型重要機(jī)遇和挑戰(zhàn)。如何打造安全可靠的數(shù)據(jù)基礎(chǔ)設(shè)施和價(jià)值挖掘平臺(tái)，發(fā)揮數(shù)據(jù)資產(chǎn)的核心價(jià)值是企業(yè)能否贏取未來的關(guān)鍵所在。

9月28日，在上海舉辦的“云智技術(shù)論壇”智能大數(shù)據(jù)專場，百度智能云帶來了云智一體的大數(shù)據(jù)產(chǎn)品架構(gòu)全景圖，為企業(yè)提供從構(gòu)建新型數(shù)據(jù)基礎(chǔ)設(shè)施、深度挖掘數(shù)據(jù)價(jià)值，到保障數(shù)據(jù)安全的全流程大數(shù)據(jù)解決方案。

百度智能云大數(shù)據(jù)產(chǎn)品架構(gòu)全景圖共三層：底層通過湖倉數(shù)據(jù)基礎(chǔ)設(shè)施為企業(yè)提供數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)開發(fā)等能力；中層的數(shù)據(jù)價(jià)值挖掘平臺(tái)，充分利用百度智能大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)價(jià)值最大化；頂層，即基于底層和中層的技術(shù)，幫助各行各業(yè)落地大數(shù)據(jù)應(yīng)用落地。

構(gòu)建新型數(shù)據(jù)基礎(chǔ)設(shè)施

隨著企業(yè)數(shù)字化轉(zhuǎn)型的加速，企業(yè)日常運(yùn)營中產(chǎn)生的數(shù)據(jù)量呈指數(shù)級增長，且數(shù)據(jù)的類型更加多樣化，數(shù)據(jù)的應(yīng)用場景日益繁雜，以及基于實(shí)時(shí)數(shù)據(jù)的快速?zèng)Q策越來越普及，單一的數(shù)據(jù)倉庫或者數(shù)據(jù)湖解決方案滿足不了用戶對數(shù)據(jù)挖掘和使用的需求。于是湖倉一體架構(gòu)成為云原生時(shí)代數(shù)據(jù)架構(gòu)演變的必然趨勢。

百度智能云湖倉一體架構(gòu)的優(yōu)勢主要體現(xiàn)在三個(gè)方面。

首先是云原生，它是數(shù)倉基礎(chǔ)架構(gòu)的一個(gè)基本的演變方向。百度智能云云原生湖倉架構(gòu)以云為基礎(chǔ)，為客戶提供彈性、低成本的數(shù)據(jù)存儲(chǔ)和按需伸縮的計(jì)算資源。在存儲(chǔ)上，百度智能云BOS是業(yè)界領(lǐng)先的數(shù)據(jù)湖對象存儲(chǔ)；在計(jì)算上，BMR是靈活、高性價(jià)比的托管大數(shù)據(jù)處理，憑借先進(jìn)的計(jì)算存儲(chǔ)分離架構(gòu)、智能彈性伸縮技術(shù)確保高可靠的同時(shí)，真正幫助用戶實(shí)現(xiàn)用時(shí)高效獲取資源、閑時(shí)及時(shí)釋放資源，用最低的成本獲取最高的計(jì)算性能。

其次，百度智能云通過數(shù)據(jù)湖架構(gòu)為客戶提供全面的數(shù)據(jù)分析能力。百度Palo是數(shù)據(jù)湖分析能力的核心產(chǎn)品，是百度基于Apache Doris構(gòu)建的企業(yè)級MPP數(shù)據(jù)倉庫，專門應(yīng)對高并發(fā)、低延時(shí)的 PB 級實(shí)時(shí)數(shù)據(jù)倉庫使用場景，全面兼容 MySQL 協(xié)議，可以毫秒級、針對億萬級數(shù)據(jù)進(jìn)行及時(shí)的多維分析透視和業(yè)務(wù)探查。

在架構(gòu)上來看，Palo與常見的分布式存儲(chǔ)系統(tǒng)的架構(gòu)有些不同。Palo主要有FE（Frontend）和BE（Backend）這兩類系統(tǒng)進(jìn)程，其中FE可以理解為Palo的管控節(jié)點(diǎn)，主要負(fù)責(zé)用戶請求的介入、查詢計(jì)劃的解析、元數(shù)據(jù)的存儲(chǔ)以及集群管理等工作，BE主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)以及查詢計(jì)劃的執(zhí)行，這兩類系統(tǒng)進(jìn)程都可以橫向拓展，而不需要依賴任何第三方系統(tǒng)（如HDFS、ZooKeeper等），這樣高度集成的架構(gòu)設(shè)計(jì)也極大簡化了一款分布式系統(tǒng)的運(yùn)維成本。同時(shí)Palo在FE進(jìn)程中實(shí)現(xiàn)了MySQL兼容協(xié)議層，這樣用戶通過標(biāo)準(zhǔn)MySQL客戶端或其他各類工具即可便捷連接到Palo，并且Palo還支持標(biāo)準(zhǔn)SQL語言，不論是簡單的單表聚合、排序過濾或復(fù)雜的多表關(guān)聯(lián)、子查詢、窗口函數(shù)、自定義函數(shù)等，都可以通過SQL快速完成，極大減少用戶的使用成本。

使用 Palo 時(shí)，可以從本地、RDS、BOS、百度智能云 MapReduce 等導(dǎo)入海量數(shù)據(jù)，進(jìn)行大數(shù)據(jù)的多維分析。同時(shí) Palo 還兼容主流 BI 工具，數(shù)據(jù)分析師可以通過可視化的方式分析和展示數(shù)據(jù)，快速獲取洞察以輔助決策。此外，Palo 還提供了全新 UI 支持，5分鐘上手，輕松實(shí)現(xiàn)建庫建表、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)查詢。

最后，百度智能云利用數(shù)據(jù)湖管理與分析平臺(tái)EasyDAP，以統(tǒng)一元數(shù)據(jù)為抓手，一站式完成數(shù)據(jù)集成、治理、開發(fā)、分析、服務(wù)。EasyDAP是全場景、低門檻、兼容開放、安全可靠的一站式數(shù)據(jù)湖管理與分析平臺(tái)，其服務(wù)范圍覆蓋數(shù)據(jù)集成、數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)，實(shí)現(xiàn)采、存、管、用一體化。

挖掘數(shù)據(jù)資產(chǎn)價(jià)值

完成數(shù)據(jù)基礎(chǔ)設(shè)施構(gòu)建后，企業(yè)如何實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值最大化？百度智能云給出了答案。

首先，百度智能云通過數(shù)據(jù)資產(chǎn)管理與運(yùn)營平臺(tái)DAMP將各類數(shù)據(jù)經(jīng)過基礎(chǔ)治理后形成的數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)一管理，以資產(chǎn)目錄的形式讓企業(yè)內(nèi)部資產(chǎn)更清晰化，同時(shí)通過應(yīng)用超市幫助企業(yè)更好的運(yùn)營數(shù)據(jù)資產(chǎn)，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)要素“好管理”、“好找到”、“好理解”、“好應(yīng)用”。

其次，百度智能云通過商業(yè)智能和數(shù)據(jù)科學(xué)工具讓數(shù)據(jù)發(fā)揮大價(jià)值。

在商業(yè)智能方面，百度Sugar BI可以快速搭建數(shù)據(jù)可視化頁面，幫助客戶洞察過去。Sugar BI是百度自助 BI 報(bào)表分析和制作可視化數(shù)據(jù)大屏的工具，直連MySQL、本地excel等各類數(shù)據(jù)源，通過豐富的圖表和拖拽式編輯幫助客戶5分鐘即可生成可視化頁面，并以炫酷大屏呈現(xiàn)，讓數(shù)據(jù)信息更直觀。同時(shí)，Sugar 融合了百度語音、語義識(shí)別等多種 AI 技術(shù)，客戶通過語音的方式就可以快速獲取想要的數(shù)據(jù)。

在數(shù)據(jù)科學(xué)方面，百度智能云通過全功能AI開發(fā)平臺(tái)BML為數(shù)據(jù)科學(xué)的場景提供全流程開發(fā)支持，幫助客戶預(yù)測未來。BML整合了大數(shù)據(jù)和百度AI技術(shù)，可以實(shí)現(xiàn)從數(shù)據(jù)源管理、數(shù)據(jù)清洗與擴(kuò)充、數(shù)據(jù)標(biāo)注、數(shù)據(jù)預(yù)處理，到模型構(gòu)建，模型管理與優(yōu)化、預(yù)測服務(wù)部署、服務(wù)管理與監(jiān)控等全流程能力支撐，降低企業(yè)應(yīng)用數(shù)據(jù)技術(shù)的門檻。BML為數(shù)據(jù)科學(xué)提供高效的算力管理和調(diào)度、高性能數(shù)據(jù)科學(xué)引擎、自動(dòng)機(jī)器學(xué)習(xí)、豐富的建模方式四大核心功能。

在算力管理和調(diào)度方面，BML提供計(jì)算資源、存儲(chǔ)資源的管理和調(diào)度。在這之上，提供一套作業(yè)執(zhí)行與調(diào)度機(jī)制，幫助客戶實(shí)現(xiàn)模型與服務(wù)管理。

在高性能數(shù)據(jù)科學(xué)引擎方面，BML提供高度兼容的 Pandas/Sklearn，面向單機(jī)的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)，提供5-10倍的開源工具的數(shù)據(jù)處理能力。

在自動(dòng)機(jī)器學(xué)習(xí)方面，BML提供自動(dòng)建模工具，實(shí)現(xiàn)從數(shù)據(jù)拆分、訓(xùn)練數(shù)據(jù)集、黑盒優(yōu)化算法、模型訓(xùn)練、效果評估等全流程的自動(dòng)化。

在豐富的建模方式方面，BML提供豐富的交互界面、文本編輯器、可視化的拖拉拽、腳本調(diào)參等工具。

保護(hù)數(shù)據(jù)隱私安全

百度數(shù)據(jù)安全體系貫穿了大數(shù)據(jù)基礎(chǔ)設(shè)施構(gòu)建、數(shù)據(jù)價(jià)值挖掘的全過程，覆蓋了數(shù)據(jù)全生命周期，從多個(gè)維度保護(hù)企業(yè)數(shù)據(jù)安全。

在數(shù)據(jù)資產(chǎn)安全方面，百度數(shù)據(jù)安全體系提供細(xì)粒度數(shù)據(jù)權(quán)限、數(shù)據(jù)加密脫敏、統(tǒng)一身份認(rèn)證、多租戶資源隔離等技術(shù)，確保資產(chǎn)生命周期過程中的安全性，以及數(shù)據(jù)在企業(yè)內(nèi)外部應(yīng)用過程中的安全性。

在隱私保護(hù)方面，百度數(shù)據(jù)安全體系實(shí)現(xiàn)了事前安全隱患發(fā)現(xiàn)、事中敏感數(shù)據(jù)保護(hù)、事后精準(zhǔn)溯源的安全保護(hù)閉環(huán)，為客戶提供安全合規(guī)的數(shù)據(jù)應(yīng)用能力。

在隱私計(jì)算方面，百度智能云通過“百度點(diǎn)石”實(shí)現(xiàn)“數(shù)據(jù)可用不可見”與“數(shù)據(jù)不動(dòng)算法動(dòng)”基礎(chǔ)之上的隱私計(jì)算。百度點(diǎn)石數(shù)據(jù)安全及隱私保護(hù)方案是基于百度內(nèi)部數(shù)據(jù)安全治理以及千行百業(yè)的合作伙伴業(yè)務(wù)實(shí)踐，整合了信息安全技術(shù)、隱私計(jì)算技術(shù)、區(qū)塊鏈技術(shù)，沉淀形成了整套的數(shù)據(jù)安全及隱私保護(hù)解決方案。

方案整合了四款隱私計(jì)算引擎：

1、數(shù)據(jù)安全沙箱：利用信息安全技術(shù)，在集中計(jì)算的基礎(chǔ)上，實(shí)現(xiàn)了數(shù)據(jù)不動(dòng)算法動(dòng)。以較高的安全性和無損的性能，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的挖掘和應(yīng)用。廣泛的應(yīng)用于集中數(shù)據(jù)源向外輸出數(shù)據(jù)價(jià)值的各類場景。

2、聯(lián)邦學(xué)習(xí)平臺(tái)：利用機(jī)器學(xué)習(xí)及密碼學(xué)算法，在分散計(jì)算的基礎(chǔ)上，通過調(diào)度多節(jié)點(diǎn)的算法、算力，實(shí)現(xiàn)了數(shù)據(jù)不動(dòng)算法動(dòng)。以較高的安全性的和較少的性能損失，實(shí)現(xiàn)多方數(shù)據(jù)的融合計(jì)算。廣泛應(yīng)用于多方數(shù)據(jù)聯(lián)合構(gòu)建機(jī)器學(xué)習(xí)模型的場景中。

3、多方安全計(jì)算：利用密碼學(xué)算法，在分散計(jì)算的基礎(chǔ)上，通過協(xié)調(diào)多個(gè)節(jié)點(diǎn)的算法、算力，實(shí)現(xiàn)了數(shù)據(jù)的可用不可見。以極高的安全性和可接受的性能損失，實(shí)現(xiàn)多方數(shù)據(jù)在密態(tài)下的聯(lián)合計(jì)算。可用于較多數(shù)據(jù)聯(lián)合計(jì)算的場景。

4、機(jī)密計(jì)算（MesaTEE）：利用第三方可信硬件，基于密碼學(xué)，在集中計(jì)算的基礎(chǔ)上，通過安全硬件的保護(hù)，實(shí)現(xiàn)多方數(shù)據(jù)的密態(tài)計(jì)算。是目前世界上應(yīng)用最廣泛的隱私計(jì)算引擎，廣泛應(yīng)用于保護(hù)個(gè)人隱私、商機(jī)機(jī)密等場景中。

目前，百度點(diǎn)石數(shù)據(jù)安全及隱私保護(hù)方案已在政務(wù)、金融、醫(yī)療、電商、教育、媒體等多個(gè)領(lǐng)域成功落地。

安全、合規(guī)是百度智能云服務(wù)客戶的基礎(chǔ)。目前，百度智能云共獲取了40+項(xiàng)國家、國際機(jī)構(gòu)認(rèn)可的資質(zhì)認(rèn)證，包括SOC1 Type2、 SOC2 Type1 、SOC2 Type2、SOC3等多項(xiàng)SOC安全審計(jì)，以及MTCS最高安全評級等國內(nèi)外安全權(quán)威機(jī)構(gòu)認(rèn)證。同時(shí)，百度智能云是國內(nèi)首家通過ISO 27032、ISO 29151、ISO 27081、ISO 27017、BS 10012認(rèn)證的云服務(wù)商。

推動(dòng)數(shù)據(jù)落地應(yīng)用

百度智能云大數(shù)據(jù)治理方案已在智慧城市、智慧金融、智慧能源、智能制造等多個(gè)領(lǐng)域落地。

北京海淀城市大腦基于百度智能云數(shù)據(jù)治理和大數(shù)據(jù)分析落地了智能運(yùn)營指揮中心，實(shí)現(xiàn)了城管事件的智能發(fā)現(xiàn)和自動(dòng)化處理。例如，通過300余臺(tái)檢測基站，實(shí)現(xiàn)了空氣質(zhì)量實(shí)時(shí)監(jiān)測預(yù)警；將976家重點(diǎn)單位納入消防物聯(lián)網(wǎng)監(jiān)控系統(tǒng)，火災(zāi)防控和隱患處置實(shí)現(xiàn)最優(yōu)化。

中國人壽財(cái)險(xiǎn)大數(shù)據(jù)部門，將百度Sugar BI作為提升可視化界面開發(fā)效率的工具，在總公司及全國幾十個(gè)分公司集中推廣使用，實(shí)現(xiàn)了零編碼“可見即可得”地展現(xiàn)頁面開發(fā)，比原生開發(fā)的速度提升了幾十倍，應(yīng)用場景包括實(shí)時(shí)業(yè)績展示、理賠關(guān)鍵指標(biāo)監(jiān)控、合作伙伴地圖展現(xiàn)、系統(tǒng)運(yùn)行監(jiān)控等。

泉州水務(wù)與百度智能云合作構(gòu)建了水務(wù)數(shù)據(jù)資產(chǎn)體系，解決了水務(wù)場景中基于人的不安全行為和物的不穩(wěn)定狀態(tài)的監(jiān)管預(yù)警問題，同時(shí)將算法智能模型集中化管理，提升了模型復(fù)用率，實(shí)現(xiàn)了高效智能化監(jiān)管。從應(yīng)用效果看，泉州水務(wù)大腦使集團(tuán)整體人員效率提升5%以上，制水供水單位能耗下降8%，分散式污水處理設(shè)施正常運(yùn)行率提升5%。

憑借多年的技術(shù)積累和豐富的落地經(jīng)驗(yàn)，百度智能云大數(shù)據(jù)平臺(tái)產(chǎn)品和服務(wù)能力深受業(yè)界認(rèn)可。數(shù)據(jù)湖管理與分析平臺(tái)EasyDAP、托管大數(shù)據(jù)平臺(tái)BMR、數(shù)據(jù)倉庫Palo、數(shù)據(jù)可視化Sugar BI均通過了信通院專項(xiàng)能力測評。在行業(yè)內(nèi)，數(shù)據(jù)湖管理與分析平臺(tái)EasyDAP獲2020中國國際大數(shù)據(jù)大會(huì)最佳用戶體驗(yàn)獎(jiǎng)；數(shù)據(jù)可視化Sugar BI獲2021中國國際大數(shù)據(jù)大會(huì)創(chuàng)新方案獎(jiǎng)；數(shù)據(jù)資產(chǎn)管理與運(yùn)營平臺(tái)DAMP獲2021中國國際大數(shù)據(jù)大會(huì)應(yīng)用實(shí)踐獎(jiǎng)等，彰顯了百度智能云大數(shù)據(jù)平臺(tái)領(lǐng)先的技術(shù)能力和創(chuàng)新解決方案。

在數(shù)字經(jīng)濟(jì)浪潮下，大數(shù)據(jù)領(lǐng)域呈現(xiàn)出 4V 特性更凸顯、數(shù)據(jù)應(yīng)用場景更繁雜、數(shù)據(jù)安全隱患更高的趨勢。百度智能云打造的智能大數(shù)據(jù)產(chǎn)品架構(gòu)全景圖，為更多企業(yè)構(gòu)建云智一體的大數(shù)據(jù)技術(shù)與能力體系，實(shí)現(xiàn)對更大規(guī)模、更多類型、更多源數(shù)據(jù)進(jìn)行處理和應(yīng)用，全面助推企業(yè)數(shù)字化轉(zhuǎn)型。

點(diǎn)擊進(jìn)入獲得更多技術(shù)信息~~

總結(jié)

以上是生活随笔為你收集整理的百度智能云大数据全景架构图如何赋能企业数字化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。