來源：中國信息產業網??

近日，兩家大數據領域的代表性企業Cloudera和Hortonworks宣布了它們相對平等的合并，宣稱新公司將創建世界領先的下一代數據平臺并提供業界首個企業數據云，這令很多人感到意外，大數據的未來何去何從，一時成為大數據產業從業人員關心的話題。

大數據蹣跚前行，邁進下半場

隨著2012年維克托·邁爾-舍恩伯格《大數據時代》一書的出版，“大數據”這一概念乘著互聯網的浪潮在各行各業中扮演了舉足輕重的角色，得大數據者得天下，業界紛紛用大數據這個詞來描述和定義信息爆炸時代產生的海量數據，并命名與之相關的技術發展與創新。

2013年被稱為中國的“大數據元年”，大數據開始在我國流行，以勢不可擋的姿態進入人們的思想意識，并在社會的各個領域探索與落地實踐。涂子沛的《大數據》一時成為暢銷讀物，大數據的概念風行大江南北，阿里巴巴成為最早提出通過數據進行企業數據化運營的企業。2015年，我國政府通過了《關于促進大數據發展的行動綱要》，大數據更是上升為國家戰略。

同美國市場一樣，以Hadoop為代表的大數據技術，在中國的大數據產業中也經歷了一段狂熱期，在很長一段時期內，Hadoop幾乎成了大數據的代名詞。在這個數據大爆炸的時代，企業需要對海量數據存儲、快速處理和分析，Hadoop正是為此而生。但目前看來，這股浪潮正漸漸退去，Hadoop正在逐漸變成一項傳統技術。

從誕生到現在，Hadoop已經走過十多年的歷史，但近年來，以Hadoop為代表的大數據產業生態，在實際落地中卻面臨著尷尬的局面。首先，大數據的價值被夸大，在投入產出比上差強人意。其次，中小企業對大數據的應用極為有限。目前看來，需求主要來源于一些大型企業，數據量過大，數據分析需求旺盛，但中小企業自身數據量并不大，需求度較低，同時也缺少相應的大數據技術人才。最后，大數據管理難度大，數據開放共享、數據質量、數據安全、個人隱私信息保護等已經成為管理大數據最頭疼的問題。今年5月，歐盟數據保護法規《通用數據保護條例》發布，對大數據企業采集的個人隱私數據管理工作產生極大的挑戰。

2018年10月底，IBM宣布以高達340億美元的價格收購RedHat，IBM宣稱其將成為全球的頭號混合云提供商，而亞馬遜、微軟、阿里巴巴等云計算巨頭早已將計算、存儲、網絡資源和應用軟件(大多來自開源社區)作為在線云服務來提供，Anaconda產品和營銷高級副總裁MathewLodge指出，大數據的中心已經從Hadoop轉移到了云端，在云環境下的對象存儲系統(如亞馬遜 S3、微軟Azure BlobStorage和Google Cloud Storage)中存儲數據比在HDFS中便宜了5倍。

盡管現在就談Hadoop已死為時尚早，但大數據產業面臨的以上問題已經累積很久，也沒有被很好地解決，能否解決以上問題將直接關乎大數據的未來發展。

人工智能方興未艾，取得新突破

人工智能(AI)是研究用于模擬與延伸擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學，目前在商業和生活中已有大量應用場景，被產業界寄望為下一輪技術革命，對它的關注熱度已經超過大數據。

AI的發展歷程一波三折，呈螺旋式發展，在歷史上共經歷三個時期。首先是1956年達特茅斯會議提出了AI的概念，但當時的計算機處理性能和數據容量制約了AI技術的發展。然后在20世紀80年代，專家系統興起，AI算法模型有了重大發明，包括多層神經網絡和BP反向傳播算法的提出，出現了能與人類下象棋的高度智能機器，但隨著臺式機的出現，使得AI專家系統走向沒落。再往后就是2006年，Hinton論文開啟了深度學習時代，特別是2016年，AIphaGo大敗李世石，將AI從后臺推到了科技界的聚光燈下，一時間萬眾矚目。

AI已經替代了早些年的大數據，成為新的商業科技風口。2017年全球AI融資超150億美元，谷歌、亞馬遜、蘋果、微軟以及阿里、百度、騰訊等中美科技巨頭紛紛布局。以深度學習為代表的AI算法，PC/移動互聯網上海量、多維度、高價值大數據，以及以GPU、FPGA、ASIC為代表的AI計算芯片，成為本輪AI發展的核心驅動力。

AI技術體系一般分為基礎層、技術層和應用層，在AI大發展的浪潮中，AI技術體系中的各模塊發展特點各不相同。

基礎層對應著算法(包括回歸、分類、聚類、深度學習算法等)、算力(即AI芯片)和軟件框架(實現對AI算法的封裝)。

算法部分，深度學習帶動了本輪AI的大躍進，深度學習已經在語音識別、圖像識別等領域取得突破，而海量的數據和高效的算力支撐是深度學習算法實現的基礎，同時還有很多新的算法理論成果正在被提出和應用，如強化學習、遷移學習、膠囊網絡、生成對抗網絡等。

算力部分，由各種AI芯片來提供基礎計算能力。AI芯片除了傳統的CPU及 GPU外，還包括為特定場景應用而定制的計算芯片。深度學習既要求計算芯片支持對存儲介質中海量數據的高效存取，還要能支持一些特定AI計算需求，因此GPU成為目前深度學習算法應用中的首要選擇。FPGA(現場可編程門陣列)可以實現應用場景的高度定制，屬于一種半定制化芯片。ASIC(專用集成電路)是不可配置的高度定制專用計算芯片，其性能也是最優的。TPU(張量處理單元)是谷歌公司設計的處理器，非常適合運行TensorFlow軟件，還有寒武紀的NPU，都是ASIC的典型代表。另外，還涌現出各類定制化的高性能AI計算服務器，或稱之為GPU一體機，一站式提供AI所需的算力。

軟件框架部分，目前AI軟件框架百花齊放，軟件框架是整個技術體系的核心，實現對AI算法的封裝、數據的調用以及計算資源的調度使用。軟件框架好比是AI應用開發的操作系統，為開發者提供編程環境和算法庫，并按需分配AI芯片等硬件資源，目的是構建AI系統開發和運行的軟件環境。目前主流的AI軟件框架主要有TensorFlow、MXNet、Caffe、Torch、CNTK、Theano、SciKit-Learn等，軟件框架的用戶包括了AI服務的開發者和使用者。

技術層負責解決具體類別的AI技術問題。其中語音識別技術負責將語音轉換為文本或命令，自然語言處理技術實現人和機器之間的自然語言通信，計算機視覺技術用于處理圖形圖像和視頻內容的識別。

應用層立足于解決各行業領域實際場景問題，如安防場景下，用于警訊發現、人臉識別、道路監控等;金融場景下，可用于資產異動監測、征信風控和智能投顧等;醫療場景下，可應用于對醫學影像、電子病例處理來輔助診療;還有目前最為火熱的自動駕駛場景，谷歌、特斯拉和百度三巨頭的無人駕駛汽車已經上路試運行。

以云服務方式提供AI服務已成為當前的趨勢，AI云服務一般分為平臺類服務和軟件類服務。平臺類服務包含GPU云服務，深度學習平臺等，GPU云服務是以虛擬機的形式，為用戶提供GPU計算資源。深度學習平臺則是以TensorFlow、Caffe、MXNet等主流深度學習軟件框架為基礎，提供相應的常用深度學習算法和模型，組合各種數據源、組件模塊，讓用戶可以基于該平臺對語音、文本、圖片、視頻等海量數據進行離線模型訓練、在線模型預測及可視化模型評估。軟件類服務包括提供API程序接口、SDK包、消息服務接口的形式提供AI相關的在線網絡服務，可包括語音識別、文字處理、圖像檢測、智能推薦等應用方式。

掘金數據資產，探索數據智能

大數據為人工智能發展提供了基礎資源，人工智能技術的核心就在于通過計算找尋大數據中的規律，對具體場景問題進行預測和判斷。想要訓練出成功的人工智能算法，需要運算力和大量的數據，其中最重要的就是數據量要足夠大。除了數據量足夠大，大數據還需要通過采集、清洗、標注等處理工作后才能夠作為人工智能算法模型訓練的輸入，但目前在實際應用中，數據流通不暢、數據質量不高和數據安全風險等問題仍然極大制約著人工智能的發展和應用。

大數據的未來何去何從，與人工智能技術如何完美結合，共同驅動數字經濟發展，數據智能或將成為新的熱點和大趨勢。

“數據智能”是百度公司在2014年提出的概念，百度對數據智能的定義，指基于大數據引擎，通過大規模機器學習和深度學習等技術，對海量數據進行處理、分析和挖掘，提取數據中所包含的有價值的信息和知識，使數據具有“智能”，并通過建立模型尋求現有問題的解決方案以及實現預測等。

2018年10月，第五屆中國國際大數據大會上發布的《2018年數據智能生態報告》中提出，在機器學習、分布式計算等技術發展的基礎上，數據逐漸呈現出高維度、高階態、異構性的形式，把能夠對海量數據進行分析、處理和挖掘，并且通過建模、工程等方式來解決實際預測問題，最終實現決策的行動，稱之為數據智能。

對數據智能的信息化落地，業界一般稱之為數據智能平臺或數據中臺。

據阿里巴巴公共數據平臺負責人介紹，阿里巴巴數據中臺戰略在2015年首次提出，旨在對內提供數據基礎建設和統一的數據服務，對外提供服務商家的統一化數據產品。阿里數據中臺基于OneData體系建立的集團數據公共層，從設計、開發、部署和使用上保障了數據口徑的規范和統一，實現數據資產全鏈路管理，并提供標準數據輸出。基于阿里數據中臺輸出的生意參謀產品，是阿里巴巴首個統一的商家數據產品平臺，為中小企業商家提供數據披露、分析、診斷、建議、優化、預測等多項數據服務。

另外，據百度公司的百度數智平臺官網介紹，該平臺定位為提供大規模機器學習、深度學習、數據分析及展現、數據應用等產品與服務，包括了大數據基礎產品和大數據應用產品兩大類，大數據基礎產品包括大數據傳輸Minos、數據工廠Pingo、數據治理Dayu、數據分析與開發Jarvis、大數據可視化Habo等產品，大數據應用產品包括百度智客、百度覓客、百度匯客、百度客情、百度商情等產品，百度公司將其數智平臺定位為AI時代的企業數據管家，服務于公司內部和各行業合作伙伴。

在2018年10月由中國聯通大數據公司主辦的加速-U10大數據價值峰會上，中國聯通大數據公司負責人以“數智”為主題發表演講，她認為當前大數據產業已經進入“數智”時代，聯通大數據的數智升級，在于更大規模的數據、更深度的智能，打造數智新架構體系，做值得信賴的數據智能服務運營商，同時介紹了中國聯通UBD數智中臺的建設思路。

可以看出，以上代表性企業建設數據智能平臺或數據中臺的意義主要在于，一是幫助企業管理好內部現有的數據資產，即數據資產管理;二是為企業提供基于大數據的預測分析產品，即人工智能服務。數據資產管理的目的是為了準備和提供高質量的數據給人工智能應用，對數據的規范化和標準化是企業實現基于大數據提供智能化服務的關鍵，也是決定大數據價值實現的基礎。

大數據進入下半場，人工智能已然崛起，現有的大數據技術亟須和人工智能技術結合，孕育新的產業生態，從百度、阿里和中國聯通的做法可以看出，向數據智能型企業轉型正在成為大型科技企業新的行動方向，阿里巴巴提出的“大中臺、小前臺”的做法已經成為業界主流數字化轉型思路，企業通過建設數據智能平臺或數據中臺，打破內部數據壁壘、盤活數據資產、提升數據價值，對外提供統一的智能化數據服務，有望再次重構大數據產業生態環境，進一步深挖和釋放大數據的價值紅利。

未來智能實驗室是人工智能學家與科學院相關機構聯合成立的人工智能，互聯網和腦科學交叉研究機構。

未來智能實驗室的主要工作包括：建立AI智能系統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）云腦研究計劃，構建互聯網（城市）云腦技術和企業圖譜，為提升企業，行業與城市的智能水平服務。

??如果您對實驗室的研究感興趣，歡迎加入未來智能實驗室線上平臺。掃描以下二維碼或點擊本文左下角“閱讀原文”

總結

以上是生活随笔為你收集整理的数据智能是大数据的未来的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。