隨著移動互聯網、物聯網/傳感器等技術的發(fā)展，全球數據生產速度正在高速增長，信息已成為企業(yè)的戰(zhàn)略資產。而運營商作為網絡時代的數據交換中心，其網絡管道、業(yè)務平臺、支撐系統(tǒng)中每天都在產生大量有價值的數據，基于這些數據的商業(yè)智能（BI）應用為運營商帶來了巨大機遇。

對此，中國移動研究院業(yè)務支撐所所長孫少陵日前在“Hadoop與大數據技術大會”上對于運營商的大數據商業(yè)智能探索進行了詳細介紹。

機遇與挑戰(zhàn)并存

如今不僅市場競爭和政策管制要求越來越多的數據被長期保存。對于企業(yè)而言，也越來越需要積累越來越多的信息資源。信息對其進行用戶行為分析、市場研究等活動有著重要意義。

通過分析用戶行為及偏好，可相應改善用戶體驗；通過分析流量、流向變化及網絡日志，可優(yōu)化網絡質量；通過對業(yè)務、資源及財務等各類數據的綜合分析，能快速準確確定公司管理和市場競爭策略；當然其更可刺激業(yè)務創(chuàng)新，在確保用戶隱私不被侵犯的前提下，可對數據進行加工，對外提供信息服務，從而提升企業(yè)價值。“未來中國移動可能會基于這些信息推出一些新業(yè)務，形成運營商新的競爭力。” 孫少陵透露。

然而，大數據也給運營商的商業(yè)智能系統(tǒng)帶來了諸多挑戰(zhàn)。在此方面三家運營商的狀況相差無幾。

首先，商業(yè)智能系統(tǒng)為分散建設，而運營商一般為兩級結構、甚至三級結構，分總部、省級、地市級。“比如經營分析、信令監(jiān)測、綜合網絡分析、不良信息監(jiān)測、上網日志留存等大數據系統(tǒng)分專業(yè)建設，而其中部分系統(tǒng)又分省建設。”孫少陵談到，“如此分散的建設一方面造成資源重復建設及應用重復開發(fā)，一些科學家和分析專家的數據資源也無法形成共享。”

其次，數據分散存儲，標準化程度比較低。目前不同系統(tǒng)的建設主體不盡相同，盡管集團有統(tǒng)一的數據模型標準，但最終在實施上總有一些差異。而數據模型的不統(tǒng)一，就造成了跨系統(tǒng)的綜合分析困難。

再次，目前運營商大部分建有以數據倉庫為核心的BI架構。這一傳統(tǒng)數據倉庫采用小機加盤陣高性能一體機建設，成本非常高。整體來看，運營商的商業(yè)智能是以處理傳統(tǒng)的劃單、日志等結構化數據來設計的。在上網日志等一些新型數據，包括圖像等非結構化數據方面，目前的BI系統(tǒng)不具備能力處理。

此外，現今運營商的系統(tǒng)只對內部提供服務，大量數據未能有效進行商業(yè)利用。而在數據進行商業(yè)利用之前，運營商必須先解決好用戶隱私保護問題。

集中化BI初步構想

針對此種形勢，同時也考慮到未來商業(yè)智能系統(tǒng)將逐漸走向移動化，孫少陵認為，運營商可調整原來的兩級架構為全網一級架構，構建數據集中、平臺統(tǒng)一的商業(yè)智能系統(tǒng)。同時將各系統(tǒng)數據進行統(tǒng)一處理和存儲，從而實現數據的標準化。

“通過數據集中化來實現各系統(tǒng)的綜合分析，也有利于快速地進行數據分析和決策支持。目前很多數據存是在二級、省內或地市系統(tǒng)里，如果集團公司要進行數據分析和決策支持，往往需要省公司定期提供一些匯總數據。”孫少陵說。

但同時集中化商業(yè)智能也面臨著海量數據處理和存儲的壓力，包括數據規(guī)模大、數據處理復雜、混合負載多樣等多種挑戰(zhàn)。此時傳統(tǒng)的單一數據倉庫技術已難以滿足要求，大數據技術的引入勢在必行。

經過綜合比較數據倉庫技術，Hadoop、NoSql、流式處理技術等各種大數據處理技術后，中移動研究院對于集中化的商業(yè)智能系統(tǒng)有了初步構想。

在技術路線方面，選擇數據倉庫與Hadoop混搭的方式，借鑒關系型數據倉庫在傳統(tǒng)應用支持方面以及在復雜查詢和分析方面的快速響應能力，同時也借鑒了Hadoop的非結構化數據處理能力以及存儲的低成本。

而為實現上層應用更便捷地進行下層數據使用，將考慮未來實現透明訪問層。其將屏蔽Hadoop與數據倉庫的使用細節(jié)，讓用戶在使用這些數據時盡量無感知；在數據的ETL采集預處理環(huán)節(jié)，盡量采用Hadoop與分布式ETL的方式，提高數據轉換效率，同時降低成本。

另外，運營商龐大分散的組織架構公司對商業(yè)智能的需求也比較多。因此中國移動將云計算引入到大數據（“大云”項目），未來形成一個商業(yè)智能的 Pass平臺。此平臺會實現平臺建設和數據存儲的集中。而應用開發(fā)可以讓各省公司和地市公司自行進行，再上載到平臺上分析結果。如此能很好地解決平臺集中化和應用需求分散化的矛盾。

轉載于:https://www.cnblogs.com/dushu/archive/2013/01/05/2845336.html

總結

以上是生活随笔為你收集整理的中国移动集中化BI探索：数据仓库与Hadoop混搭的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。