1? 引言

　　大數(shù)據(jù)是新一代信息技術(shù)的核心方面和競爭前沿，也是制約大數(shù)據(jù)產(chǎn)業(yè)快速發(fā)展的關(guān)鍵瓶頸。大數(shù)據(jù)技術(shù)創(chuàng)新能力已經(jīng)成為后信息時(shí)代衡量國家競爭力的重要指標(biāo)。與傳統(tǒng)信息產(chǎn)業(yè)的發(fā)展過程相似，大數(shù)據(jù)必將逐漸形成一個(gè)相對獨(dú)立、體系完善的產(chǎn)業(yè)形態(tài)，完成傳統(tǒng)信息產(chǎn)業(yè)的升級換代。互聯(lián)網(wǎng)和云計(jì)算的發(fā)展過程與趨勢已經(jīng)證明，大數(shù)據(jù)未來的產(chǎn)業(yè)形態(tài)將是以服務(wù)為核心的新型產(chǎn)業(yè)形態(tài)，大數(shù)據(jù)產(chǎn)業(yè)體系的各個(gè)環(huán)節(jié)將提供極為豐富的服務(wù)。

　　大數(shù)據(jù)是國家、社會和產(chǎn)業(yè)在后信息時(shí)代的戰(zhàn)略性資源，以大數(shù)據(jù)為核心支撐的新一代信息技術(shù)與應(yīng)用（如互聯(lián)網(wǎng)+、物聯(lián)網(wǎng)、智慧城市、智能制造等）利用大數(shù)據(jù)資源的手段和工具，為社會提供信息服務(wù)，其最終目的是利用大數(shù)據(jù)解決科學(xué)研究、社會管理、產(chǎn)業(yè)發(fā)展等一系列實(shí)際問題，從而在戰(zhàn)略決策、運(yùn)營管理、終端服務(wù)等不同層面和環(huán)節(jié)提升效能與效益，形成新的核心競爭力。當(dāng)前，全社會數(shù)據(jù)產(chǎn)生越來越快、積累越來越多，大數(shù)據(jù)資源越來越豐富，而現(xiàn)有的信息技術(shù)已經(jīng)跟不上數(shù)據(jù)的發(fā)展，特別是對大數(shù)據(jù)的處理、分析與應(yīng)用已經(jīng)成為全球性問題，引起了各國政府和產(chǎn)業(yè)界的高度重視。

　　大規(guī)模且高復(fù)雜性的大數(shù)據(jù)，其處理時(shí)間、響應(yīng)速度等都有明確且具體的要求，這對計(jì)算平臺的架構(gòu)、計(jì)算模型的框架、共性技術(shù)等提出了更高的要求。傳統(tǒng)的以計(jì)算速度為優(yōu)先的設(shè)計(jì)理念已經(jīng)不能滿足當(dāng)前大數(shù)據(jù)時(shí)代的處理需求，新計(jì)算平臺的研發(fā)、框架設(shè)計(jì)和共性技術(shù)開發(fā)等需要兼顧效率與效能的雙重標(biāo)準(zhǔn)，同時(shí)兼顧大數(shù)據(jù)類型多、變化快、價(jià)值稀疏的特性。

　　2? 大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)現(xiàn)狀與問題

　　大數(shù)據(jù)計(jì)算平臺是大數(shù)據(jù)的硬件與系統(tǒng)基礎(chǔ)，對大數(shù)據(jù)的所有分析與處理都需要在高性能的計(jì)算平臺上進(jìn)行；共性技術(shù)是大數(shù)據(jù)分析與處理的知識與技術(shù)基礎(chǔ)，所有的大數(shù)據(jù)系統(tǒng)都涉及數(shù)據(jù)采集、傳輸、存儲、處理和分析過程中的多項(xiàng)共性的技術(shù)；典型的應(yīng)用可以用來驗(yàn)證計(jì)算平臺和共性技術(shù)的可行性與執(zhí)行效率，并為相近應(yīng)用的研發(fā)提供借鑒。

　　經(jīng)過近幾年的快速發(fā)展，大數(shù)據(jù)已經(jīng)形成從數(shù)據(jù)采集、數(shù)據(jù)處理到數(shù)據(jù)分析的完整產(chǎn)業(yè)，為社會經(jīng)濟(jì)的發(fā)展提供有力的數(shù)據(jù)支持。然而技術(shù)的發(fā)展趕不上數(shù)據(jù)數(shù)量和形式的變化速度，這需要大數(shù)據(jù)研發(fā)和從業(yè)人員不斷努力來適應(yīng)新情況。下面從計(jì)算平臺、共性技術(shù)和應(yīng)用3個(gè)方面對大數(shù)據(jù)的技術(shù)現(xiàn)狀及存在的問題進(jìn)行闡述。

　　2.1 大數(shù)據(jù)計(jì)算平臺現(xiàn)狀及存在的問題

　　大數(shù)據(jù)計(jì)算平臺是大數(shù)據(jù)產(chǎn)品體系的核心龍頭。大數(shù)據(jù)計(jì)算平臺以云計(jì)算為基礎(chǔ)環(huán)境、以服務(wù)模式為總體架構(gòu)，覆蓋大數(shù)據(jù)應(yīng)用全過程，支持多源異構(gòu)海量數(shù)據(jù)的采集、存儲、集成、處理、分析、可視化展現(xiàn)、交互式應(yīng)用，涉及企業(yè)大數(shù)據(jù)產(chǎn)品體系的各個(gè)層面，為各層產(chǎn)品實(shí)現(xiàn)提供關(guān)鍵技術(shù)支撐。

　　當(dāng)前，面向信息服務(wù)的大數(shù)據(jù)計(jì)算平臺還遠(yuǎn)不成熟，平臺優(yōu)化和節(jié)能等關(guān)鍵技術(shù)有待突破，面臨的問題主要包括以下幾個(gè)方面。

　　● 平臺研發(fā)需要交叉學(xué)科知識。由于大數(shù)據(jù)計(jì)算平臺環(huán)境復(fù)雜，要提高大數(shù)據(jù)計(jì)算平臺的處理能力、優(yōu)化平臺性能和降低能耗、提高平臺的安全性和隱私保護(hù)，需要多學(xué)科、多種專業(yè)背景的科研人員協(xié)同創(chuàng)新、聯(lián)合攻關(guān)，才能實(shí)現(xiàn)技術(shù)突破。平臺研發(fā)需要交叉學(xué)科知識。

　　● 平臺研發(fā)人才缺乏。由于大數(shù)據(jù)應(yīng)用在許多行業(yè)屬于新生事物，雖然很多企業(yè)管理者認(rèn)識到了大數(shù)據(jù)的潛在價(jià)值，但還處于觀望狀態(tài)，不愿冒風(fēng)險(xiǎn)做領(lǐng)先者；多數(shù)企業(yè)缺少大數(shù)據(jù)技術(shù)和應(yīng)用人才，也缺少大數(shù)據(jù)應(yīng)用的技術(shù)平臺，無法開展實(shí)際應(yīng)用項(xiàng)目；目前大數(shù)據(jù)技術(shù)還很不成熟，很多是開源軟件，實(shí)施應(yīng)用項(xiàng)目成本高、風(fēng)險(xiǎn)大。企業(yè)、科研機(jī)構(gòu)和大學(xué)協(xié)同創(chuàng)新是突破行業(yè)示范應(yīng)用障礙的有效途徑。

　　● 平臺框架需要突破。大數(shù)據(jù)計(jì)算平臺的處理和分析能力主要依賴分布式計(jì)算框架來完成。分布式計(jì)算框架不僅要提供高效的計(jì)算模型、簡單的編程接口，還要具備容錯(cuò)能力和高擴(kuò)展性。大數(shù)據(jù)計(jì)算平臺的計(jì)算框架主要分為批處理和流處理兩種。批處理計(jì)算框架主要針對靜態(tài)數(shù)據(jù)的離線計(jì)算，吞吐量好，但是不能保證實(shí)時(shí)性；流處理計(jì)算框架主要針對動(dòng)態(tài)數(shù)據(jù)的在線實(shí)時(shí)計(jì)算，時(shí)效性好，但是難以獲取數(shù)據(jù)全貌。

　　● 技術(shù)環(huán)境不統(tǒng)一。目前大數(shù)據(jù)最前沿的計(jì)算框架和衍生的生態(tài)圈都分布在以GitHub為主的開源社區(qū)內(nèi)，形成了大數(shù)據(jù)基礎(chǔ)架構(gòu)和大數(shù)據(jù)分析處理技術(shù)群。大數(shù)據(jù)的技術(shù)環(huán)境為用戶提供了豐富的技術(shù)選擇，但也給用戶掌握和使用多樣性的大數(shù)據(jù)技術(shù)造成障礙，且提高了應(yīng)用成本。

　　2.2 大數(shù)據(jù)共性技術(shù)現(xiàn)狀及存在的問題

　　根據(jù)處理流程，大數(shù)據(jù)技術(shù)可以分為基礎(chǔ)架構(gòu)支持、數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算以及展現(xiàn)與交互幾類。具體來說，基礎(chǔ)架構(gòu)涉及的技術(shù)包括云計(jì)算平臺、云存儲、虛擬化、網(wǎng)絡(luò)以及資源監(jiān)控等；數(shù)據(jù)采集涉及的技術(shù)包括數(shù)據(jù)總線、抽取—轉(zhuǎn)換—加載（extract-transform-load， ETL）工具等；數(shù)據(jù)存儲涉及的技術(shù)包括分布式文件系統(tǒng)、關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等；數(shù)據(jù)計(jì)算涉及的技術(shù)包括數(shù)據(jù)查詢、統(tǒng)計(jì)與分析、數(shù)據(jù)預(yù)測與挖掘、圖譜挖掘、商業(yè)智能（business intelligence，BI）等；展現(xiàn)與交互技術(shù)包括圖形與報(bào)表、可視化工具、增強(qiáng)現(xiàn)實(shí)技術(shù)等。此外，大數(shù)據(jù)技術(shù)還包括大數(shù)據(jù)的安全與隱私保護(hù)等相關(guān)技術(shù)。

　　當(dāng)前，大數(shù)據(jù)的存儲、處理、分析、展示等關(guān)鍵技術(shù)有待突破，大數(shù)據(jù)處理和分析能力、算法的數(shù)據(jù)處理能力遠(yuǎn)遠(yuǎn)達(dá)不到實(shí)際應(yīng)用要求。現(xiàn)有的信息技術(shù)不足以解決大數(shù)據(jù)的問題，面對豐富和復(fù)雜的大數(shù)據(jù)應(yīng)用場景，需要多學(xué)科、多領(lǐng)域的交叉合作才能解決。這給傳統(tǒng)信息技術(shù)帶來了挑戰(zhàn)，主要表現(xiàn)在：多源多模大數(shù)據(jù)的獲取和融合；對數(shù)據(jù)質(zhì)量和低質(zhì)量數(shù)據(jù)的容忍；面向大數(shù)據(jù)算法及理論的進(jìn)一步研究；對現(xiàn)有可擴(kuò)展存儲和處理的計(jì)算架構(gòu)更新設(shè)計(jì)；對大數(shù)據(jù)并行處理及分析挖掘技術(shù)適應(yīng)性設(shè)計(jì)等。

　　2.3 大數(shù)據(jù)應(yīng)用的現(xiàn)狀及存在的問題

　　隨著國家政策扶持力度的不斷加大，產(chǎn)業(yè)資本的持續(xù)投入，國內(nèi)外發(fā)展大數(shù)據(jù)的積極性都很高，行業(yè)應(yīng)用得到快速推廣。當(dāng)前，大數(shù)據(jù)的應(yīng)用給企業(yè)不僅帶來了技術(shù)和應(yīng)用模式上的突破，還為商業(yè)模式的創(chuàng)新以及企業(yè)的轉(zhuǎn)型發(fā)展帶來了驅(qū)動(dòng)力。對公共服務(wù)機(jī)構(gòu)來說，挖掘大數(shù)據(jù)的潛在價(jià)值對解決城市發(fā)展問題、完善社會機(jī)制、更好地服務(wù)于市民有著重大的意義。

　　雖然大數(shù)據(jù)應(yīng)用逐步深入人們的生活，但限于目前大數(shù)據(jù)技術(shù)仍不成熟，因此與實(shí)際問題解決需求存在一定的差異，主要表現(xiàn)如下。

　　● 時(shí)空大數(shù)據(jù)面臨海量數(shù)據(jù)管理、時(shí)空數(shù)據(jù)融合、時(shí)空大數(shù)據(jù)理論框架和時(shí)空推理與數(shù)據(jù)挖掘的深度結(jié)合的挑戰(zhàn)；針對時(shí)空大數(shù)據(jù)模式發(fā)現(xiàn)與價(jià)值提煉的問題，揭示大尺度事件的演化推理機(jī)理，突破大尺度安全時(shí)間的理解和局限的挑戰(zhàn)。

　　● 媒體大數(shù)據(jù)的包容量大、源頭多且成分迥異的特性，給媒體大數(shù)據(jù)計(jì)算理論和關(guān)聯(lián)算法的研究帶來了巨大的挑戰(zhàn)。此外，目前無論是科學(xué)研究還是新技術(shù)開發(fā)，都沒有解決計(jì)算機(jī)按內(nèi)容自動(dòng)搜索視頻媒體的可行性方案。

　　● 為了有效地利用物聯(lián)網(wǎng)海量多樣化的大數(shù)據(jù)，挖掘其價(jià)值，一方面需要對網(wǎng)絡(luò)進(jìn)行優(yōu)化，使其具備未來物聯(lián)網(wǎng)需具備的承載大數(shù)據(jù)的能力；另一方面，對用戶的服務(wù)進(jìn)行分析挖掘，充分實(shí)現(xiàn)物聯(lián)網(wǎng)的潛在價(jià)值。

　　● 物流大數(shù)據(jù)應(yīng)用領(lǐng)域面臨使用大數(shù)據(jù)技術(shù)推動(dòng)電子商務(wù)與現(xiàn)代物流的協(xié)同發(fā)展問題，是物流大數(shù)據(jù)應(yīng)用的一大挑戰(zhàn)。

　　3? 大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)創(chuàng)新平臺

　　在國際社會和我國政府將大數(shù)據(jù)上升為國家戰(zhàn)略的背景下、在我國大數(shù)據(jù)計(jì)算平臺和共性技術(shù)研究不充分的情況下，國家發(fā)展和改革委員會于2017年正式批復(fù)由深圳大學(xué)牽頭建設(shè)大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)國家工程實(shí)驗(yàn)室（以下簡稱國家工程實(shí)驗(yàn)室）。國家工程實(shí)驗(yàn)室面向國家實(shí)施大數(shù)據(jù)戰(zhàn)略的需求，著重解決我國大數(shù)據(jù)計(jì)算平臺安全可信性差、軟件通用性低的突出問題；采用國產(chǎn)高性能處理器互聯(lián)芯片和計(jì)算平臺，實(shí)現(xiàn)大數(shù)據(jù)智能診斷和自動(dòng)糾錯(cuò)等可靠性信息高速轉(zhuǎn)發(fā)，提升大數(shù)據(jù)計(jì)算平臺的安全控制能力，滿足國家加密算法的要求；以研制自主可控、通用性強(qiáng)的大數(shù)據(jù)計(jì)算平臺為核心目標(biāo)，解決高性能大數(shù)據(jù)計(jì)算中的共性問題，并以此為基礎(chǔ)，著力開展大數(shù)據(jù)示范性應(yīng)用研發(fā)。各技術(shù)方向的架構(gòu)和關(guān)系如圖1所示。

圖1 國家工程實(shí)驗(yàn)室研究方向

　　國家工程實(shí)驗(yàn)室計(jì)劃突破的3個(gè)主要技術(shù)方向包括高性能高安全的大數(shù)據(jù)計(jì)算平臺研發(fā)、高度通用的大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)研究、大數(shù)據(jù)示范性應(yīng)用研發(fā)，有針對性地解決目前我國大數(shù)據(jù)計(jì)算平臺面臨的安全性差、通用性低等突出問題。采用全國產(chǎn)化、面向特定工程領(lǐng)域的芯片及軟件技術(shù)，實(shí)現(xiàn)完全自主可控的高性能大數(shù)據(jù)計(jì)算平臺。將在該自主可控的硬件計(jì)算平臺上，研發(fā)可以適用于大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)的通用系統(tǒng)軟件。還將面向大數(shù)據(jù)計(jì)算中的示范性應(yīng)用，開展應(yīng)用軟件技術(shù)的研發(fā)，實(shí)現(xiàn)“硬件—系統(tǒng)軟件—應(yīng)用軟件”的完整的大數(shù)據(jù)計(jì)算生態(tài)環(huán)境。

　　（1）高性能高安全的大數(shù)據(jù)計(jì)算平臺研發(fā)

　　隨著國家、國防信息化建設(shè)的發(fā)展，構(gòu)建自主可控的大數(shù)據(jù)計(jì)算平臺是國家戰(zhàn)略安全的至關(guān)重要的問題。目前我國絕大多數(shù)的大數(shù)據(jù)計(jì)算平臺都基于國外的軟硬件系統(tǒng)。大數(shù)據(jù)計(jì)算平臺安全可信性差和軟件通用性低等問題，成為大數(shù)據(jù)行業(yè)最為突出的核心問題。采用國外的基礎(chǔ)技術(shù)平臺，不僅在核心技術(shù)上受制于人，而且對我國重要數(shù)據(jù)信息的安全構(gòu)成了直接威脅。國家工程實(shí)驗(yàn)室將從“硬件—系統(tǒng)軟件—應(yīng)用”3個(gè)層次，全面構(gòu)建國產(chǎn)化高可靠性、高性能大數(shù)據(jù)平臺。該平臺的建設(shè)以研制基于國產(chǎn)化處理器的大數(shù)據(jù)計(jì)算硬件系統(tǒng)為核心方向。采用創(chuàng)新的RAS 2.0（增強(qiáng)的可靠性（reliability）、可用性（availability）及可服務(wù)性（serviceability））和處理器互聯(lián)技術(shù)，提供超越現(xiàn)有標(biāo)準(zhǔn)開放平臺的單機(jī)可靠性和計(jì)算性能。采用基于固件、不依賴操作系統(tǒng)（operatin system，OS）的故障響應(yīng)和診斷機(jī)制，能夠全面、自動(dòng)收集故障信息并進(jìn)行分析，實(shí)現(xiàn)主動(dòng)預(yù)警、隔離、替換失效部件，并率先支持CPU、內(nèi)存等核心部件的在線維護(hù)，面向計(jì)劃內(nèi)零停機(jī)維護(hù)設(shè)計(jì)，保障重要部門和企業(yè)的關(guān)鍵業(yè)務(wù)連續(xù)運(yùn)行。

　　（2）高 度通用的大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)研究

　　國家工程實(shí)驗(yàn)室將開展面向高度通用的大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)的研究。大數(shù)據(jù)計(jì)算在數(shù)據(jù)量、數(shù)據(jù)類型方面與傳統(tǒng)高性能計(jì)算有顯著不同，對數(shù)據(jù)的實(shí)時(shí)響應(yīng)、安全性等方面也有特殊的要求。國家工程實(shí)驗(yàn)室擬在通用大數(shù)據(jù)并行計(jì)算框架、一體化平臺集成、數(shù)據(jù)存儲、資源調(diào)度、數(shù)據(jù)安全、一體化應(yīng)用環(huán)境6個(gè)方面開展研究。基于度量空間的大數(shù)據(jù)抽象框架，利用度量空間將大數(shù)據(jù)復(fù)雜繁多的數(shù)據(jù)類型和多樣化的距離抽象為統(tǒng)一的數(shù)據(jù)類型和距離函數(shù)接口，并通過支撐點(diǎn)選取算法選取若干支撐點(diǎn)，以數(shù)據(jù)到支撐點(diǎn)的距離為坐標(biāo)，從而將數(shù)據(jù)從無坐標(biāo)的度量空間映射到有坐標(biāo)的多維空間，使眾多數(shù)學(xué)工具得以使用。

　　（3）大數(shù)據(jù)示范性應(yīng)用研發(fā)

　　研發(fā)特定領(lǐng)域的大數(shù)據(jù)示范性應(yīng)用及其共性技術(shù)是國家工程實(shí)驗(yàn)室建設(shè)的重要目標(biāo)之一。國家工程實(shí)驗(yàn)室建設(shè)期間將從“智慧城市”“智能制造”“智慧政府”及“智慧服務(wù)”等領(lǐng)域的關(guān)鍵應(yīng)用技術(shù)出發(fā)，開展五大示范性應(yīng)用及共性技術(shù)的開發(fā)，包括多維時(shí)空大數(shù)據(jù)分析在智慧城市中的示范應(yīng)用、物流大數(shù)據(jù)示范應(yīng)用、媒體大數(shù)據(jù)分析的示范應(yīng)用、物聯(lián)網(wǎng)大數(shù)據(jù)示范應(yīng)用以及大數(shù)據(jù)可視化分析技術(shù)的示范應(yīng)用。通過示范應(yīng)用的開發(fā)及共性技術(shù)的研究，建立大數(shù)據(jù)“產(chǎn)學(xué)研用”協(xié)同創(chuàng)新生態(tài)鏈，促進(jìn)大眾創(chuàng)業(yè)和萬眾創(chuàng)新。

　　4? 基于大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)平臺打造大數(shù)據(jù)生態(tài)創(chuàng)新基地

　　國家工程實(shí)驗(yàn)室的總體功能定位概括為我國大數(shù)據(jù)領(lǐng)域領(lǐng)先的“4個(gè)基地”，分別介紹如下。

　　（1）大數(shù)據(jù)技術(shù)創(chuàng)新與計(jì)算平臺基地國家工程實(shí)驗(yàn)室特別注重大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)的源頭創(chuàng)新能力，大數(shù)據(jù)計(jì)算平臺的基礎(chǔ)支撐能力以及對前沿技術(shù)成果和重大項(xiàng)目方案的集成、測試、驗(yàn)證的能力，保障產(chǎn)業(yè)界對先進(jìn)、成熟的技術(shù)的應(yīng)用需求。

　　（2）人才培養(yǎng)與交流基地

　　國家工程實(shí)驗(yàn)室以重大需求引領(lǐng)技術(shù)創(chuàng)新和多學(xué)科交叉為人才培養(yǎng)特色，以校企聯(lián)合及國際化為人才培養(yǎng)途徑，著力培養(yǎng)兼具理論探索和實(shí)踐開發(fā)的復(fù)合型人才；同時(shí)，通過與中國港澳地區(qū)及歐美知名高校開展聯(lián)合研究、特色專業(yè)、訪問學(xué)者等活動(dòng)，實(shí)現(xiàn)國際高端人才的常態(tài)化交流與合作，發(fā)展成為區(qū)域性大數(shù)據(jù)高端人才培養(yǎng)與國際交流基地。

在這里我還是要推薦下我自己建的大數(shù)據(jù)學(xué)習(xí)交流qq裙：522189307 ， 裙 里都是學(xué)大數(shù)據(jù)開發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù) ，小編歡迎你加入，大家都是軟件開發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)開發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進(jìn)階資料和高級開發(fā)教程，歡迎進(jìn)階中和進(jìn)想深入大數(shù)據(jù)的小伙伴。上述資料加群可以領(lǐng)取


　　（3）產(chǎn)業(yè)孵化與服務(wù)基地

　　國家工程實(shí)驗(yàn)室針對深圳、香港及珠三角地區(qū)新一代信息技術(shù)領(lǐng)域創(chuàng)客群體對大數(shù)據(jù)技術(shù)與服務(wù)的共性需求，提供大數(shù)據(jù)創(chuàng)新創(chuàng)業(yè)的技術(shù)、平臺、人才等公共技術(shù)服務(wù)支撐，促進(jìn)創(chuàng)業(yè)項(xiàng)目加速成熟。

　　（4）大數(shù)據(jù)協(xié)同創(chuàng)新基地

　　國家工程實(shí)驗(yàn)室廣泛對接政府和社會資源，成為以政府開放數(shù)據(jù)為源頭、以社會應(yīng)用需求為引領(lǐng)、以大數(shù)據(jù)平臺為核心、以廣東及香港高校人才團(tuán)隊(duì)為支撐、以社會資本為紐帶、以龍頭企業(yè)和產(chǎn)業(yè)園區(qū)為出口的大數(shù)據(jù)上下游鏈條協(xié)同合作與發(fā)展的樞紐，共同建設(shè)良好的融合大數(shù)據(jù)領(lǐng)域“政產(chǎn)學(xué) 研資介用”多元?jiǎng)?chuàng)新資源的產(chǎn)業(yè)生態(tài)圈。

　　國家工程實(shí)驗(yàn)室以高校為建設(shè)主體，實(shí)現(xiàn)大數(shù)據(jù)領(lǐng)域的共性核心技術(shù)創(chuàng)新、核心平臺建設(shè)、高端人才培養(yǎng)、公共技術(shù)服務(wù)，符合大數(shù)據(jù)領(lǐng)域技術(shù)驅(qū)動(dòng)的發(fā)展要求。同時(shí)，高校作為國家公立科研機(jī)構(gòu)，能夠從根本上保障協(xié)同創(chuàng)新的公立性和持續(xù)性。

　　5? 大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)“產(chǎn)學(xué)研”合作及行業(yè)應(yīng)用示范平臺

　　為有效地支撐大數(shù)據(jù)產(chǎn)業(yè)發(fā)展與應(yīng)用推廣，充分發(fā)揮國家工程實(shí)驗(yàn)室建設(shè)成果對各行業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)共性需求的支撐能力，實(shí)驗(yàn)室將建設(shè)大數(shù)據(jù)“產(chǎn)學(xué)研”合作及行業(yè)應(yīng)用示范平臺，平臺提供的核心子系統(tǒng)與功能包括以下幾個(gè)方面。

　　（1）數(shù)據(jù)資源目錄系統(tǒng)與服務(wù)

　　平臺將提供數(shù)據(jù)資源目錄服務(wù)。一方面，將已經(jīng)聚集的數(shù)據(jù)資源處理成標(biāo)準(zhǔn)數(shù)據(jù)集，授權(quán)第三方合作伙伴使用；另一方面，接收外部數(shù)據(jù)資源匯聚，將所用數(shù)據(jù)資源經(jīng)過處理后的標(biāo)準(zhǔn)數(shù)據(jù)集以數(shù)據(jù)資源目錄的形式提供給授權(quán)用戶訪問、查詢、分級使用，同時(shí)提供基于數(shù)據(jù)資源開展項(xiàng)目的清單，便于數(shù)據(jù)資源價(jià)值理解與橫向?qū)Ρ?#xff0c;促進(jìn)產(chǎn)業(yè)生態(tài)發(fā)展。

　　（2）行業(yè)大數(shù)據(jù)應(yīng)用案例庫及服務(wù)

　　為促進(jìn)行業(yè)大數(shù)據(jù)應(yīng)用普及推廣，不斷強(qiáng)化行業(yè)大數(shù)據(jù)應(yīng)用的標(biāo)準(zhǔn)化與產(chǎn)品化發(fā)展，平臺提供行業(yè)大數(shù)據(jù)應(yīng)用案例庫及相關(guān)服務(wù)，將依托平臺構(gòu)建的各個(gè)行業(yè)大數(shù)據(jù)應(yīng)用案例進(jìn)行統(tǒng)一管理，并對外授權(quán)服務(wù)。同時(shí)，借鑒開源軟件管理與發(fā)展模式，任何基于本平臺提供的案例進(jìn)行定制開發(fā)的案例有義務(wù)提交到本平臺，明確不同案例版本的所有權(quán)，促進(jìn)合作方之間的共贏發(fā)展。

　　（3）資源管理與共享服務(wù)

　　為有效支撐不同用戶及案例的開發(fā)與運(yùn)行，平臺將提供資源管理與共享服務(wù)，進(jìn)行用戶及案例管理，平臺將根據(jù)用戶案例的開發(fā)與運(yùn)行所需資源進(jìn)行動(dòng)態(tài)分配與管控，實(shí)現(xiàn)在IaaS層、PaaS層的平臺資源共享。

　　6 強(qiáng)化國家大數(shù)據(jù)創(chuàng)新能力

　　大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)創(chuàng)新平臺處在國際大數(shù)據(jù)競相發(fā)展的起步階段和國際大數(shù)據(jù)的技術(shù)體系與產(chǎn)業(yè)格局尚未完善成熟的初級階段。瞄準(zhǔn)國際大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展趨勢，針對國家大數(shù)據(jù)發(fā)展戰(zhàn)略需求，依托區(qū)域大數(shù)據(jù)創(chuàng)新創(chuàng)業(yè)優(yōu)越環(huán)境，發(fā)揮建設(shè)單位的創(chuàng)新成果基礎(chǔ)與互補(bǔ)資源優(yōu)勢，集中圍繞大數(shù)據(jù)處理與分析的主題，以建設(shè)大數(shù)據(jù)計(jì)算平臺與大數(shù)據(jù)共性技術(shù)為核心任務(wù)，以研發(fā)和促進(jìn)大數(shù)據(jù)重大行業(yè)應(yīng)用示范為導(dǎo)向，以構(gòu)建多學(xué)科、多領(lǐng)域交叉融合的創(chuàng)新載體為手段，全面系統(tǒng)地突破大數(shù)據(jù)領(lǐng)域的技術(shù)與應(yīng)用問題，通過自主創(chuàng)新的大數(shù)據(jù)成果，支持和驅(qū)動(dòng)相關(guān)產(chǎn)業(yè)轉(zhuǎn)型升級和雙創(chuàng)戰(zhàn)略深化實(shí)現(xiàn)。

　　首先，創(chuàng)新平臺將強(qiáng)化國家大數(shù)據(jù)創(chuàng)新能力建設(shè)。大數(shù)據(jù)是新一代信息技術(shù)的核心方面和競爭前沿，也是制約大數(shù)據(jù)產(chǎn)業(yè)快速發(fā)展的關(guān)鍵瓶頸。大數(shù)據(jù)技術(shù)創(chuàng)新能力已經(jīng)成為后信息時(shí)代衡量國家競爭力的重要指標(biāo)。與傳統(tǒng)信息技術(shù)創(chuàng)新相比，大數(shù)據(jù)技術(shù)創(chuàng)新對科技人才、科研載體、合作模式、資源要素等提出了更高的要求，迫切需要能夠有效組織、融合、協(xié)同、發(fā)展多元化創(chuàng)新主體和資源的新型、高水平的大數(shù)據(jù)創(chuàng)新載體，承擔(dān)起滿足國家大數(shù)據(jù)需求的創(chuàng)新、組織、交流、合作的職責(zé)。通過本項(xiàng)目研發(fā)出自主可控的大數(shù)據(jù)計(jì)算平臺和一系列大數(shù)據(jù)共性技術(shù)，將成為國家大數(shù)據(jù)創(chuàng)新體系的重要組成部分和推進(jìn)抓手。

　　其次，創(chuàng)新平臺將滿足我國大數(shù)據(jù)技術(shù)與應(yīng)用的重大需求。大數(shù)據(jù)系統(tǒng)技術(shù)按技術(shù)創(chuàng)新平臺建設(shè)的直接產(chǎn)出就是系統(tǒng)全面地提供大數(shù)據(jù)技術(shù)成果，具體包括時(shí)空大數(shù)據(jù)、物流大數(shù)據(jù)、媒體大數(shù)據(jù)、物聯(lián)網(wǎng)大數(shù)據(jù)等示范性大數(shù)據(jù)應(yīng)用的相關(guān)機(jī)器學(xué)習(xí)理論、分析模型與算法以及應(yīng)用相關(guān)工具、系統(tǒng)與平臺、行業(yè)大數(shù)據(jù)應(yīng)用解決方案等。這些技術(shù)成果具有極強(qiáng)的適用性和推廣性，可進(jìn)一步面向具體應(yīng)用場景與需求進(jìn)行第三方定制開發(fā)，應(yīng)用到更廣泛的行業(yè)、領(lǐng)域、環(huán)節(jié)、場景，突破制約我國大數(shù)據(jù)應(yīng)用發(fā)展的瓶頸。

　　再次，創(chuàng)新平臺將促進(jìn)我國大數(shù)據(jù)技術(shù)服務(wù)產(chǎn)業(yè)發(fā)展壯大。與傳統(tǒng)信息產(chǎn)業(yè)的發(fā)展過程相似，大數(shù)據(jù)必將逐漸形成一個(gè)相對獨(dú)立、體系完善的產(chǎn)業(yè)形態(tài)，成為傳統(tǒng)信息產(chǎn)業(yè)的升級換代。互聯(lián)網(wǎng)和云計(jì)算的發(fā)展過程與趨勢已經(jīng)證明，大數(shù)據(jù)未來的產(chǎn)業(yè)形態(tài)將是以服務(wù)為核心的新型產(chǎn)業(yè)形態(tài)，大數(shù)據(jù)產(chǎn)業(yè)體系的各個(gè)環(huán)節(jié)將形成極為豐富的服務(wù)。建設(shè)從計(jì)算平臺、共性技術(shù)到示范應(yīng)用，全面覆蓋大數(shù)據(jù)技術(shù)體系中主要環(huán)節(jié)的核心技術(shù)創(chuàng)新與突破，相應(yīng)的技術(shù)成果將以技術(shù)、專利、軟件、系統(tǒng)、平臺、方案、培訓(xùn)、咨詢等形式為社會提供服務(wù)，促進(jìn)我國大數(shù)據(jù)技術(shù)服務(wù)產(chǎn)業(yè)發(fā)展壯大。

　　最后，創(chuàng)新平臺將助力我國大數(shù)據(jù)“雙創(chuàng)”生態(tài)環(huán)境成熟完善。當(dāng)前我國“雙創(chuàng)”戰(zhàn)略激發(fā)了眾多創(chuàng)客團(tuán)隊(duì)和創(chuàng)業(yè)孵化器的快速發(fā)展，大量與信息技術(shù)和服務(wù)相關(guān)的創(chuàng)業(yè)項(xiàng)目，特別是在互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、智能硬件等領(lǐng)域的創(chuàng)業(yè)項(xiàng)目，都離不開大數(shù)據(jù)技術(shù)的支持。大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)創(chuàng)新平臺研制大數(shù)據(jù)計(jì)算平臺，研究大數(shù)據(jù)共性技術(shù)，具備開展大數(shù)據(jù)應(yīng)用的全部核心功能與組件，并通過服務(wù)的方式一站式提供給用戶，因此將成為“雙創(chuàng)”戰(zhàn)略的重要支撐，降低創(chuàng)客群體使用大數(shù)據(jù)技術(shù)的門檻，有助于創(chuàng)客群體之間的交流合作，形成以平臺為核心的大數(shù)據(jù)相關(guān)創(chuàng)新創(chuàng)業(yè)生態(tài)圈。

　　7 結(jié)束語

　　本文從大數(shù)據(jù)計(jì)算平臺、共性技術(shù)和大數(shù)據(jù)應(yīng)用的現(xiàn)狀及存在的問題出發(fā)，介紹了大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)國家工程實(shí)驗(yàn)室的大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)創(chuàng)新平臺。創(chuàng)新平臺以研制高性能高安全的計(jì)算平臺、高度通用的大數(shù)據(jù)共性技術(shù)為基礎(chǔ)，進(jìn)行大數(shù)據(jù)示范應(yīng)用的研發(fā)。依托創(chuàng)新平臺打造大數(shù)據(jù)生態(tài)創(chuàng)新基地，完善大數(shù)據(jù)“產(chǎn)學(xué)研”一體的綜合生態(tài)圈；建設(shè)大數(shù)據(jù)“產(chǎn)學(xué)研”合作及行業(yè)應(yīng)用示范平臺，改善大數(shù)據(jù)人才培養(yǎng)的環(huán)境，促進(jìn)大數(shù)據(jù)研究領(lǐng)域科研成果的轉(zhuǎn)化。創(chuàng)新平臺的建設(shè)將提升國家大數(shù)據(jù)創(chuàng)新能力，滿足我國大數(shù)據(jù)技術(shù)與應(yīng)用的重大需求，促進(jìn)我國大數(shù)據(jù)技術(shù)服務(wù)產(chǎn)業(yè)發(fā)展壯大，助力我國大數(shù)據(jù)“雙創(chuàng)”生態(tài)環(huán)境的成熟完善。

總結(jié)

以上是生活随笔為你收集整理的大数据系统计算的概念全面解析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。