还要什么ETL?它是搭建数据仓库的必备,许多人都不知道!
商業智能是什么?意義在哪里?企業又如何建設商業智能系統?相信這些問題一直圍繞在CIO的腦海里。
其實,很難用單一的產品或者技術來概括商業智能,憑我從業十年的理解,商業智能是一條路,一條從數據到信息的路,有如下幾種:
- 最簡單的方案是企業數據報表系統
- 深層次的是olap分析
- 更深層次的是數據挖掘
作為商業智能的一條路,OLAP大概是比較常見的一種選擇。無論是對數據產品經理,或者數據分析師來說,要想搭建一個業務的數據分析平臺,OLAP分析是你不得不掌握的技能。
隨著企業的數據量越來越大,數據分析查詢響應及時性要求越來越高,如按照傳統ETL(提取、轉化、加載)的數據加工方式,需要考慮各個不同維度上的聚合,來提高響應及時性,所以會造成ETL的工作量非常大,同時對模型設計要求也比較高,也不適合靈活的維度組合查詢的需求。
?
在這種背景下,數據倉庫的系統的主要應用:OLAP分析,就這么出現了。OLAP首先是把數據預處理成數據立方(Cube),并把有可能的匯總都預先算出來(即預聚合處理),然后在用戶選擇多維度匯總時,
在預先的計算出來的數據基礎上很快地計算出用戶想要的結果,從而可以更好更快地支持極大數據量的及時分析。
但在實際的商業分析中,OLAP分析更多的是指對數據分析的一種解決方案。
公司的數據都儲存在ERP、CRM、OA等中,各業務線存在大量的OLAP分析場景,需要基于Hadoop數十億級別的數據進行分析,直接響應分析師和大數據部門等數千人的同時訪問請求,對數據服務的各方面都有很高的需求。
?
OLAP的優勢
?
?
1、多維性:它面向分析,分析驅動,支持多維分析。“維”是人們觀察數據的特定角度,是考慮問題時的一類屬性,屬性集合構成一個維(時間維、地理維等)。
2、信息性:它可以支持管理需要,面向決策人員;可以導出綜合性和提煉性數據信息。
3、強處理性:OLAP一次處理的數據量比ETL、傳統取數方式大得多。
4、快速性:用戶對快速反應能力有很高的要求,OLAP系統應能在5秒內對用戶的大部分分析要求做出反應。
?
上面講的OLAP分析都是偏向IT層面,但其實OLAP的最終作用是使管理層、數據分析師、業務人員能夠從多種角度對信息數據更深入了解,它的技術核心是"維"這個概念,因此OLAP也可以說是多維數據分析工具的集合。
業務人員如何利用OLAP分析?
業務人員在分析業務經營的數據時,經常需要從各種角度來思考與分析數據。
例如分析銷售數據,可能會綜合時間、產品、渠道等多種因素來考量。這些分析角度雖然可以通過報表來反映,但每一個分析的角度可以生成一張報表,各個分析角度的不同組合又可以生成不同的報表,使得IT人員的工作量相當大,而且往往難以跟上管理決策人員思考的步伐。
老一代OLAP分析的技術實現需要嚴格的從頭開始手動建模,Cube的大小極大限制了大數據背景下的使用場景,動輒成百上千新舊不一的Cube需要繁重的運維,架構無法縱向擴展、無法滿足大數據量下構建、查詢和并發的性能要求。這種處理方式在新一代的BI工具中并不適用。
好的BI產品在olap分析方面,主要是聚焦3個方面:
- 多維觀察:就是字面意思,多個角度關聯分析
- 數據鉆取:在已有的基礎數據上細化,精確到更小的點
- cube計算:計算引擎直接考慮可能會出現的各種情況,進行預計算,避免了實時數據太大而引起的數據量查詢慢
以國內頂尖的BI工具FineBI舉例,其主要特點是直接仿照用戶的多角度思考模式,預先為用戶組建多維數據庫。一旦多維數據模型建立完成,用戶可以快速地從各個分析角度獲取數據,也能動態的在各個角度之間切換或者進行多角度綜合分析,具有極大的分析靈活性。
?
FineBI的數據業務包是BI分析的數據基礎,由管理員創建,通過定義的數據連接向數據庫中取數,獲取到的數據自動保存在Cube中,BI分析則從Cube中獲取數據,這也就保證了只要Cube中存有數據,就算不聯網也可以使用BI分析。
FineBI憑借OLAP分析真正做到了將技術人員的工作系統化,高效賦能業務人員 。 業務人員只需自助地使用 BI 工具直接分析即可。
系統將自動地理解分析意圖,并在后臺透明地進行數據準備和加速,透明加速后的查詢提速至幾十倍到上百倍,滿足業務人員交互式的即席分析需求。就拿業務分析中,經常要用到的鉆取和聯動來說吧。
所謂聯動,就是一個數據變化,后面所有的數據都會自動變化。在FineBI中,組件之間任何有來自同一張表或者有關聯的數據默認直接進行聯動,可滿足大部分業務分析場景,無論是從數據反應速度,還是從圖表的美觀程度來看,Excel數據透視表都是甘拜下風!
?
在使用FineBI進行數據分析時,我們往往會先通過可視化報表從大的層面把握業務問題所在,再通過一個頁面內的鉆取聯動逐級向下鉆取,直到明細數據,才能定位到具體的問題。
總結
實踐已經證明,采用OLAP分析計算,能夠避免困擾現代BI工具和復雜大數據基礎架構的一大基本難題:漫長的計算時間和緩慢的查詢速度。有了OLAP分析,這些問題將迎刃而解,
而其中的 OLAP核心能力的突破,將是增強分析的關鍵。
我還整理了數字化案例、IT建設案例、數據倉庫、數據治理、行業報告等總計6個G的資料包,絕對高質量!關注微信公眾號“商業智能研究”,回復關鍵字“資料包”即可領取全部資料!
創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的还要什么ETL?它是搭建数据仓库的必备,许多人都不知道!的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 汉游天下公司的一些感悟
- 下一篇: 90后程序员代码漏洞更多?