【2017年第4期】大数据标准体系
張群，吳東亞，趙菁華
中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院，北京 100007?
摘要：隨著大數(shù)據(jù)的發(fā)展，標(biāo)準(zhǔn)化的內(nèi)容越來(lái)越廣，標(biāo)準(zhǔn)化的對(duì)象也越來(lái)越復(fù)雜。系統(tǒng)地分析了國(guó)內(nèi)外大數(shù)據(jù)標(biāo)準(zhǔn)化工作現(xiàn)狀，結(jié)合《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》、中華人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃綱要等國(guó)家戰(zhàn)略以及大數(shù)據(jù)產(chǎn)業(yè)發(fā)展對(duì)標(biāo)準(zhǔn)化工作的需求，分析我國(guó)大數(shù)據(jù)標(biāo)準(zhǔn)化工作面臨的問(wèn)題，描述了大數(shù)據(jù)參考架構(gòu)，提出大數(shù)據(jù)標(biāo)準(zhǔn)體系框架，給出了未來(lái)的工作建議。
關(guān)鍵詞：大數(shù)據(jù)；標(biāo)準(zhǔn)化；參考架構(gòu)；標(biāo)準(zhǔn)體系
中圖分類號(hào)：TP399 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A
doi:10.11959/j.issn.2096-0271.2017037
Big data standards system
ZHANG Qun, WU Dongya, ZHAO Jinghua
China Electronics Standardization Institute,Beijing 100007,China?
Abstract: With the development of big data,standardization involves more and more content,and the objects are becoming more and more complex.The status of national and international big data standardization work was systematically analyzed.In combination with the national strategy of ＆quot;Platform for the Development of Big Data＆quot; and the Thirteenth Five-Year Plan of National Economic and Social Development of the People's Republic of China,as well as the demand for big data standardization,the problems of national big data standardization were pointed out,big data reference architecture and standards system was proposed,and suggestions for future work were given.
Key words: big data, standardization, reference architecture, standards system
論文引用格式：張群, 吳東亞, 趙菁華. 大數(shù)據(jù)標(biāo)準(zhǔn)體系[J]. 大數(shù)據(jù), 2017, 3(4): 11-19.
ZHANG Q, WU D Y, ZHAO J H. Big data standards system[J]. Big Data Research, 2017, 3(4): 11-19.
1 引言
大數(shù)據(jù)的初步應(yīng)用已經(jīng)開(kāi)始對(duì)生產(chǎn)、流通、分配與消費(fèi)模式產(chǎn)生重要影響，但目前也存在核心技術(shù)差距較大、政府?dāng)?shù)據(jù)開(kāi)放共享不足、應(yīng)用水平低、產(chǎn)業(yè)基礎(chǔ)薄弱、法規(guī)標(biāo)準(zhǔn)滯后、信息安全問(wèn)題日益突出等問(wèn)題。由于大數(shù)據(jù)領(lǐng)域相關(guān)的標(biāo)準(zhǔn)缺失，導(dǎo)致大數(shù)據(jù)應(yīng)用建設(shè)沒(méi)有標(biāo)準(zhǔn)可依據(jù)，形成數(shù)據(jù)信息孤島，影響數(shù)據(jù)的復(fù)用性和互融互通性，阻礙產(chǎn)業(yè)化發(fā)展。
2015年9月，國(guó)務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》（以下簡(jiǎn)稱《行動(dòng)綱要》），明確提出“建立標(biāo)準(zhǔn)規(guī)范體系。推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)標(biāo)準(zhǔn)體系建設(shè)，加快建立政府部門(mén)、事業(yè)單位等公共機(jī)構(gòu)的數(shù)據(jù)標(biāo)準(zhǔn)和統(tǒng)計(jì)標(biāo)準(zhǔn)體系，推進(jìn)數(shù)據(jù)采集、政府?dāng)?shù)據(jù)開(kāi)放、指標(biāo)口徑、分類目錄、交換接口、訪問(wèn)接口、數(shù)據(jù)質(zhì)量、數(shù)據(jù)交易、技術(shù)產(chǎn)品、安全保密等關(guān)鍵共性標(biāo)準(zhǔn)的制定和實(shí)施。加快建立大數(shù)據(jù)市場(chǎng)交易標(biāo)準(zhǔn)體系。開(kāi)展標(biāo)準(zhǔn)驗(yàn)證和應(yīng)用試點(diǎn)示范，建立標(biāo)準(zhǔn)符合性評(píng)估體系，充分發(fā)揮標(biāo)準(zhǔn)在培育服務(wù)市場(chǎng)、提升服務(wù)能力、支撐行業(yè)管理等方面的作用。積極參與相關(guān)國(guó)際標(biāo)準(zhǔn)制定工作”[1]。2016年3月，中華人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃綱要，簡(jiǎn)稱“十三五”規(guī)劃，指出要“完善大數(shù)據(jù)產(chǎn)業(yè)公共服務(wù)支撐體系和生態(tài)體系，加強(qiáng)標(biāo)準(zhǔn)體系和質(zhì)量技術(shù)基礎(chǔ)建設(shè)”[2]。
本文通過(guò)總結(jié)國(guó)內(nèi)外大數(shù)據(jù)標(biāo)準(zhǔn)化工作現(xiàn)狀，緊緊圍繞《行動(dòng)綱要》和“十三五”規(guī)劃的要求，結(jié)合大數(shù)據(jù)產(chǎn)業(yè)發(fā)展對(duì)標(biāo)準(zhǔn)化工作的需求，充分分析我國(guó)大數(shù)據(jù)標(biāo)準(zhǔn)化工作面臨的問(wèn)題，提出未來(lái)工作的幾點(diǎn)建議。
2 大數(shù)據(jù)參考架構(gòu)
2015年，美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（National Institute of Standards and Technology，NIST）發(fā)布了《大數(shù)據(jù)互操作框架第6卷：參考架構(gòu)（big data interoperability framework volume 6 reference architecture）》，描述了大數(shù)據(jù)參考架構(gòu)的總體框架[3]。2016年，全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)大數(shù)據(jù)標(biāo)準(zhǔn)工作組結(jié)合NIST的《大數(shù)據(jù)互操作框架第6卷：參考架構(gòu)》，提出了我國(guó)大數(shù)據(jù)參考架構(gòu)，如圖1所示。該參考架構(gòu)方便大家對(duì)大數(shù)據(jù)復(fù)雜性操作的認(rèn)識(shí)，中立于供應(yīng)商，并在技術(shù)和基礎(chǔ)設(shè)施方面獨(dú)立，為大數(shù)據(jù)標(biāo)準(zhǔn)化提供基本參考點(diǎn)，為大數(shù)據(jù)系統(tǒng)的基本概念和原理提供了一個(gè)總體框架，為各種利益相關(guān)者提供一種交流大數(shù)據(jù)技術(shù)的通用語(yǔ)言，鼓勵(lì)大數(shù)據(jù)實(shí)踐者遵守通用標(biāo)準(zhǔn)、規(guī)范和模式。
圖1 ?大數(shù)據(jù)參考架構(gòu)
大數(shù)據(jù)參考架構(gòu)圍繞代表大數(shù)據(jù)價(jià)值鏈的信息價(jià)值鏈（水平軸）和IT價(jià)值鏈（垂直軸）兩個(gè)維度組織展開(kāi)。信息價(jià)值鏈表示大數(shù)據(jù)的應(yīng)用理論作為一種數(shù)據(jù)科學(xué)方法，從數(shù)據(jù)到知識(shí)的處理過(guò)程中所實(shí)現(xiàn)的信息價(jià)值，其核心價(jià)值通過(guò)數(shù)據(jù)收集、預(yù)處理、分析、可視化和訪問(wèn)等活動(dòng)實(shí)現(xiàn)。IT價(jià)值鏈表示大數(shù)據(jù)作為一種新興的數(shù)據(jù)應(yīng)用范式為IT技術(shù)產(chǎn)生的新需求帶來(lái)的價(jià)值，其核心價(jià)值通過(guò)為大數(shù)據(jù)應(yīng)用提供存儲(chǔ)和運(yùn)行大數(shù)據(jù)的網(wǎng)絡(luò)、基礎(chǔ)設(shè)施、平臺(tái)、應(yīng)用工具以及其他IT服務(wù)實(shí)現(xiàn)。
大數(shù)據(jù)參考架構(gòu)提供了一個(gè)構(gòu)件層級(jí)分類體系，用于描述架構(gòu)中的邏輯構(gòu)件以及定義邏輯構(gòu)件的分類。邏輯構(gòu)件被劃分為3個(gè)層級(jí)，從高到低依次為角色、活動(dòng)和組件。最頂層級(jí)的邏輯構(gòu)件代表大數(shù)據(jù)參考架構(gòu)中存在的5個(gè)角色，包括系統(tǒng)協(xié)調(diào)者、數(shù)據(jù)提供者、大數(shù)據(jù)應(yīng)用提供者、大數(shù)據(jù)框架提供者、數(shù)據(jù)消費(fèi)者。另外兩個(gè)非常重要的邏輯構(gòu)件是安全和隱私、管理，它們?yōu)榇髷?shù)據(jù)的5個(gè)角色提供服務(wù)和功能。第二層級(jí)的邏輯構(gòu)件是每個(gè)角色執(zhí)行的活動(dòng)。第三層級(jí)的邏輯構(gòu)件是執(zhí)行每個(gè)活動(dòng)需要的功能組件。
該架構(gòu)可以用于表示由多個(gè)大數(shù)據(jù)系統(tǒng)組成的堆疊式或鏈?zhǔn)较到y(tǒng)，其中一個(gè)系統(tǒng)的數(shù)據(jù)消費(fèi)者可以作為后面一個(gè)系統(tǒng)的數(shù)據(jù)提供者。該架構(gòu)支持各種商業(yè)環(huán)境，包括緊密集成的企業(yè)系統(tǒng)和松散耦合的垂直行業(yè)，有助于理解大數(shù)據(jù)系統(tǒng)如何補(bǔ)充并有別于已有的分析、商業(yè)智能、數(shù)據(jù)庫(kù)等傳統(tǒng)的數(shù)據(jù)應(yīng)用系統(tǒng)。
3 國(guó)內(nèi)外大數(shù)據(jù)標(biāo)準(zhǔn)化工作部署
當(dāng)前，許多國(guó)家的政府和國(guó)際組織紛紛將開(kāi)發(fā)利用大數(shù)據(jù)作為奪取新一輪競(jìng)爭(zhēng)制高點(diǎn)的重要抓手，實(shí)施大數(shù)據(jù)戰(zhàn)略。隨著大數(shù)據(jù)技術(shù)的發(fā)展與應(yīng)用，大數(shù)據(jù)標(biāo)準(zhǔn)研制已成為國(guó)際各標(biāo)準(zhǔn)化組織共同關(guān)注的熱點(diǎn)，然而尚處于初期發(fā)展階段。
3.1 國(guó)際標(biāo)準(zhǔn)化現(xiàn)狀
國(guó)際大數(shù)據(jù)標(biāo)準(zhǔn)化工作主要集中在ISO/IEC JTC1/WG9大數(shù)據(jù)工作組（以下簡(jiǎn)稱WG9）。除此之外，ISO/IEC JTC1/SC32數(shù)據(jù)管理和交換分技術(shù)委員會(huì)（以下簡(jiǎn)稱SC32）和國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)分局（ITU-T）也在從事大數(shù)據(jù)標(biāo)準(zhǔn)化相關(guān)的工作[4]。
（1）WG9大數(shù)據(jù)標(biāo)準(zhǔn)化情況
WG9于2014年11月正式成立。工作重點(diǎn)包括：聚焦和支持JTC1的大數(shù)據(jù)標(biāo)準(zhǔn)計(jì)劃；編制大數(shù)據(jù)基礎(chǔ)標(biāo)準(zhǔn)，以指導(dǎo)JTC1中其他大數(shù)據(jù)標(biāo)準(zhǔn)的編制；編制建立在基礎(chǔ)標(biāo)準(zhǔn)上的其他大數(shù)據(jù)標(biāo)準(zhǔn)（當(dāng)JTC1下屬相關(guān)組不存在或不能編制這些標(biāo)準(zhǔn)時(shí)）；識(shí)別大數(shù)據(jù)標(biāo)準(zhǔn)化中的差距；建立和維護(hù)與JTC1中那些將來(lái)可能提出大數(shù)據(jù)相關(guān)工作的所有相關(guān)實(shí)體以及任何下屬組的聯(lián)絡(luò)；識(shí)別那些正在編制有關(guān)大數(shù)據(jù)的標(biāo)準(zhǔn)和相關(guān)資料的JTC1（和其他組織）實(shí)體，并在適當(dāng)時(shí)候調(diào)查有關(guān)大數(shù)據(jù)的正在進(jìn)行中和潛在的新工作；與JTC1之外的相關(guān)社區(qū)共同提升意識(shí)，并鼓勵(lì)其參與JTC1的大數(shù)據(jù)標(biāo)準(zhǔn)化工作，根據(jù)需要建立聯(lián)絡(luò)。
目前，WG9的國(guó)家成員有22個(gè)，各國(guó)代表超過(guò)19 0名。正在研制《信息技術(shù)大數(shù)據(jù)概述和術(shù)語(yǔ)（information technologybig data-overview and vocabulary）》《信息技術(shù)大數(shù)據(jù)參考架構(gòu)第1部分：框架和應(yīng)用（information technology-big data reference architecture-part 1:framework and application process）》《信息技術(shù)大數(shù)據(jù)參考架構(gòu)第2部分：用例和需求（information technology-big data reference architecture-part 2:use cases and derived requirements）》《信息技術(shù)大數(shù)據(jù)參考架構(gòu)第3部分：參考架構(gòu)（information technology-big data reference architecturepart 3:reference architecture）》《信息技術(shù)大數(shù)據(jù)參考架構(gòu)第5部分：標(biāo)準(zhǔn)路線圖（information technology-big data reference architecture-part 5:standards roadmap）》國(guó)際標(biāo)準(zhǔn)。
（2）SC32大數(shù)據(jù)標(biāo)準(zhǔn)化相關(guān)情況
SC32是與大數(shù)據(jù)關(guān)系最為密切的標(biāo)準(zhǔn)化組織，持續(xù)致力于研制信息系統(tǒng)環(huán)境內(nèi)及之間的數(shù)據(jù)管理和交換標(biāo)準(zhǔn)，為跨行業(yè)領(lǐng)域協(xié)調(diào)數(shù)據(jù)管理能力提供技術(shù)性支持。其工作內(nèi)容包括研制開(kāi)發(fā)和維護(hù)有利于規(guī)范和管理的元數(shù)據(jù)、元模型和本體的標(biāo)準(zhǔn)，此類標(biāo)準(zhǔn)有助于理解和共享數(shù)據(jù)、信息和過(guò)程，支持互操作性、電子商務(wù)以及基于模型和基于服務(wù)的開(kāi)發(fā)。
2012年SC32成立了下一代分析技術(shù)與大數(shù)據(jù)研究組。2014年6月，啟動(dòng)4項(xiàng)為大數(shù)據(jù)提供標(biāo)準(zhǔn)化支持的新工作項(xiàng)目，包括結(jié)構(gòu)化查詢語(yǔ)言（structured query language， SQL）對(duì)多維數(shù)組的支持、SQL對(duì)JS對(duì)象標(biāo)記（JavaScript object notation，JSON）的支持、數(shù)據(jù)集注冊(cè)元模型、數(shù)據(jù)源注冊(cè)元模型。SC32現(xiàn)有的標(biāo)準(zhǔn)制定和研究工作為大數(shù)據(jù)的發(fā)展提供了良好基礎(chǔ)。
（3）ITU-T大數(shù)據(jù)標(biāo)準(zhǔn)化相關(guān)情況
根據(jù)ITU-T現(xiàn)有工作基礎(chǔ)開(kāi)展的標(biāo)準(zhǔn)化工作包括：高吞吐量、低延遲、安全、靈活和規(guī)模化的網(wǎng)絡(luò)基礎(chǔ)設(shè)施；匯聚數(shù)據(jù)機(jī)和匿名；網(wǎng)絡(luò)數(shù)據(jù)分析；垂直行業(yè)平臺(tái)的互操作；多媒體分析；開(kāi)放數(shù)據(jù)標(biāo)準(zhǔn)。
目前，ITU-T大數(shù)據(jù)標(biāo)準(zhǔn)化工作主要是在第13研究組（SG13）開(kāi)展，并由第17課題組（Q17）牽頭開(kāi)展ITU-T大數(shù)據(jù)標(biāo)準(zhǔn)化工作。2015年8月，發(fā)布“基于云計(jì)算的大數(shù)據(jù)需求和能力”，正在研究的課題包括“針對(duì)大數(shù)據(jù)的物聯(lián)網(wǎng)具體需求和能力要求”“大數(shù)據(jù)交換需求和框架”“大數(shù)據(jù)即業(yè)務(wù)的功能架構(gòu)”。
3.2 主要國(guó)家大數(shù)據(jù)標(biāo)準(zhǔn)化現(xiàn)狀
目前，較系統(tǒng)地開(kāi)展大數(shù)據(jù)標(biāo)準(zhǔn)化工作的國(guó)家主要包括美國(guó)和中國(guó)。美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院在2013年6月建立了大數(shù)據(jù)公共工作組（NBD-PWG），致力于開(kāi)發(fā)大數(shù)據(jù)互操作性框架。中國(guó)在2014年12月2日由工業(yè)和信息化部信息化和軟件服務(wù)業(yè)司指導(dǎo)成立了全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)大數(shù)據(jù)標(biāo)準(zhǔn)工作組（以下簡(jiǎn)稱“大數(shù)據(jù)標(biāo)準(zhǔn)工作組”），全面開(kāi)展我國(guó)大數(shù)據(jù)標(biāo)準(zhǔn)化工作。
3.2.1 美國(guó)NBD-PWG標(biāo)準(zhǔn)化情況
NBD-PWG工作范圍是建立來(lái)自于產(chǎn)業(yè)界、學(xué)術(shù)界和政府的公共環(huán)境，形成共識(shí)的定義、術(shù)語(yǔ)、參考架構(gòu)、安全與隱私和技術(shù)路線圖，提出數(shù)據(jù)分析技術(shù)應(yīng)滿足的互操作、可移植性、可用性和擴(kuò)展性需求，安全有效地支持大數(shù)據(jù)應(yīng)用的技術(shù)基礎(chǔ)設(shè)施，為大數(shù)據(jù)相關(guān)方選擇最佳方案提供支持。
NBD-PWG是一個(gè)開(kāi)放工作組，歡迎來(lái)自于產(chǎn)業(yè)界、學(xué)術(shù)界和政府的各方面力量參與并貢獻(xiàn)力量。其發(fā)布《大數(shù)據(jù)互操作框架第1卷：定義（big data interoperability framework volume 1 definitions）》《大數(shù)據(jù)互操作框架第2卷：大數(shù)據(jù)分類（big data interoperability framework volume 2 big data taxonomies）》《大數(shù)據(jù)互操作框架第3卷：用例和一般需求（big data interoperability framework volume 3 use cases and general requirements）》《大數(shù)據(jù)互操作框架第4卷：安全和隱私（big data interoperability framework volume 4 security and privacy）》《大數(shù)據(jù)互操作框架第5卷：架構(gòu)調(diào)研白皮書(shū)（big data interoperability framework volume 5 architectures white paper survey）》《大數(shù)據(jù)互操作框架第6卷：參考架構(gòu)（big data interoperability framework volume 6 reference architecture）》《大數(shù)據(jù)互操作框架：第7卷：標(biāo)準(zhǔn)路線圖（big data interoperability framework volume 7 standards roadmap）》等研究報(bào)告。
3.2.2 中國(guó)大數(shù)據(jù)標(biāo)準(zhǔn)工作組標(biāo)準(zhǔn)化情況
中國(guó)大數(shù)據(jù)標(biāo)準(zhǔn)化工作主要集中在全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)大數(shù)據(jù)標(biāo)準(zhǔn)工作組，主要負(fù)責(zé)制定和完善我國(guó)大數(shù)據(jù)領(lǐng)域標(biāo)準(zhǔn)體系，組織開(kāi)展大數(shù)據(jù)相關(guān)技術(shù)和標(biāo)準(zhǔn)的研究，申報(bào)國(guó)家、行業(yè)標(biāo)準(zhǔn)，承擔(dān)國(guó)家、行業(yè)標(biāo)準(zhǔn)制訂和修訂計(jì)劃任務(wù)，宣傳、推廣標(biāo)準(zhǔn)實(shí)施，組織推動(dòng)國(guó)際標(biāo)準(zhǔn)化活動(dòng)，對(duì)口WG9大數(shù)據(jù)工作組。
其下設(shè)7個(gè)專題組：總體專題組、國(guó)際專題組、技術(shù)專題組、產(chǎn)品和平臺(tái)專題組、安全專題組、工業(yè)大數(shù)據(jù)專題組、電子商務(wù)大數(shù)據(jù)專題組，負(fù)責(zé)大數(shù)據(jù)領(lǐng)域不同方向的標(biāo)準(zhǔn)化工作。目前，正在研制的國(guó)家標(biāo)準(zhǔn)有12項(xiàng)，詳見(jiàn)表1。
表1 ?在研12項(xiàng)大數(shù)據(jù)領(lǐng)域標(biāo)準(zhǔn)
大數(shù)據(jù)技術(shù)更新快速，為了適應(yīng)新形勢(shì)下標(biāo)準(zhǔn)化工作的新需求，大數(shù)據(jù)標(biāo)準(zhǔn)工作組不斷加強(qiáng)標(biāo)準(zhǔn)的試驗(yàn)驗(yàn)證，快速迭代標(biāo)準(zhǔn)化驗(yàn)證和制定工作，積極推動(dòng)標(biāo)準(zhǔn)化工作的快速成熟與落地。
4 大數(shù)據(jù)標(biāo)準(zhǔn)體系研究現(xiàn)狀
大數(shù)據(jù)標(biāo)準(zhǔn)體系是為實(shí)現(xiàn)大數(shù)據(jù)領(lǐng)域的標(biāo)準(zhǔn)化而形成的體系。標(biāo)準(zhǔn)體系的建立應(yīng)具有先進(jìn)性，在應(yīng)用系統(tǒng)科學(xué)理論和方法的基礎(chǔ)上，運(yùn)用標(biāo)準(zhǔn)化的工作原理，著眼于尋找整套的標(biāo)準(zhǔn)內(nèi)容，基于這些內(nèi)容，在標(biāo)準(zhǔn)體系的內(nèi)在聯(lián)系上進(jìn)行統(tǒng)一、簡(jiǎn)化、協(xié)調(diào)和優(yōu)化等處理，力求體現(xiàn)出系統(tǒng)內(nèi)標(biāo)準(zhǔn)的最佳秩序，防止在標(biāo)準(zhǔn)之間存在不配套、不協(xié)調(diào)、互相矛盾及組成不合理等問(wèn)題。隨著大數(shù)據(jù)的發(fā)展，標(biāo)準(zhǔn)化的內(nèi)容越來(lái)越廣，標(biāo)準(zhǔn)化的對(duì)象也越來(lái)越復(fù)雜，大數(shù)據(jù)領(lǐng)域標(biāo)準(zhǔn)之間都存在著相互依存、相互銜接、相互補(bǔ)充、相互制約的內(nèi)在聯(lián)系，最終形成科學(xué)的有機(jī)整體。
大數(shù)據(jù)涉及各方面的內(nèi)容越來(lái)越多，標(biāo)準(zhǔn)化工作的廣泛性、復(fù)雜性主要體現(xiàn)在以下5個(gè)方面。
4.1 數(shù)據(jù)開(kāi)放共享標(biāo)準(zhǔn)化缺乏頂層設(shè)計(jì)
政府開(kāi)放數(shù)據(jù)不是政府信息公開(kāi)，開(kāi)放數(shù)據(jù)要把底層的、原始的數(shù)據(jù)進(jìn)行開(kāi)放，更多是要保障公眾對(duì)政府?dāng)?shù)據(jù)的利用。真正的開(kāi)放數(shù)據(jù)要滿足完整性、可機(jī)讀、一手、非歧視、及時(shí)、非私有、可獲取、面授權(quán)等標(biāo)準(zhǔn)。數(shù)據(jù)開(kāi)放、共享是數(shù)據(jù)運(yùn)用的前提，許多地方政府不知道怎樣開(kāi)放、開(kāi)放什么、開(kāi)放程序是什么、管理方式是什么、考核評(píng)價(jià)標(biāo)準(zhǔn)是什么等，地方政府在推進(jìn)數(shù)據(jù)開(kāi)放工作上無(wú)所適從。我國(guó)政府?dāng)?shù)據(jù)開(kāi)放共享時(shí)存在數(shù)據(jù)量少、價(jià)值低、可機(jī)讀比例低、開(kāi)放的數(shù)據(jù)多為靜態(tài)數(shù)據(jù)等問(wèn)題。因此，數(shù)據(jù)開(kāi)放共享標(biāo)準(zhǔn)化缺乏頂層設(shè)計(jì)以及至上而下的執(zhí)行標(biāo)準(zhǔn)、開(kāi)放標(biāo)準(zhǔn)等。
4.2 大數(shù)據(jù)交易缺少標(biāo)準(zhǔn)
在大數(shù)據(jù)上升為國(guó)家戰(zhàn)略的背景下，數(shù)據(jù)交易發(fā)展更是擁有了市場(chǎng)和政策的雙重機(jī)遇。但數(shù)據(jù)交易發(fā)展的機(jī)遇與困難同在，數(shù)據(jù)交易、交換和服務(wù)發(fā)展面臨一些問(wèn)題：數(shù)據(jù)商品化需要先解決標(biāo)準(zhǔn)化問(wèn)題，缺乏經(jīng)過(guò)實(shí)踐檢驗(yàn)的有效的數(shù)據(jù)交易市場(chǎng)機(jī)制和運(yùn)營(yíng)模型，數(shù)據(jù)商品定價(jià)和數(shù)據(jù)資產(chǎn)估值困難，數(shù)據(jù)隱私保護(hù)和數(shù)據(jù)安全仍需加強(qiáng)，政府與企業(yè)的數(shù)據(jù)開(kāi)放與商品化動(dòng)機(jī)不強(qiáng)。
在數(shù)據(jù)標(biāo)準(zhǔn)化方面，交易所產(chǎn)品的重要特點(diǎn)就是交易產(chǎn)品的標(biāo)準(zhǔn)化。而大數(shù)據(jù)由于數(shù)據(jù)種類繁多，格式多樣，難以形成一種普適的標(biāo)準(zhǔn)化方法，直接影響到其成為一種集中化、大規(guī)模交易的產(chǎn)品。由于數(shù)據(jù)的應(yīng)用場(chǎng)景和價(jià)值不容易標(biāo)準(zhǔn)化，數(shù)據(jù)應(yīng)用水平和程度有限，數(shù)據(jù)標(biāo)準(zhǔn)化程度很低，無(wú)法按照傳統(tǒng)的商品銷售模式進(jìn)行銷售。
4.3 數(shù)據(jù)質(zhì)量缺少規(guī)范
數(shù)據(jù)質(zhì)量是影響大數(shù)據(jù)產(chǎn)業(yè)健康有序發(fā)展的重要因素之一。如何從海量數(shù)據(jù)中快速分析出有價(jià)值的信息，很大程度上取決于分析處理的數(shù)據(jù)能否真實(shí)地反映實(shí)際情況、分析的數(shù)據(jù)是否按一定要求在相同條件下收集、不同數(shù)據(jù)之間是否具有同質(zhì)性、最終獲得的數(shù)據(jù)是否具備合并統(tǒng)計(jì)分析的基礎(chǔ)。然而，大數(shù)據(jù)時(shí)代下的數(shù)據(jù)質(zhì)量應(yīng)滿足什么樣的規(guī)范、是否達(dá)到規(guī)范的要求、大數(shù)據(jù)時(shí)代的數(shù)據(jù)質(zhì)量與普通的數(shù)據(jù)質(zhì)量之間的區(qū)別是什么、大數(shù)據(jù)時(shí)代的數(shù)據(jù)質(zhì)量評(píng)估維度是什么，這些都是需要從標(biāo)準(zhǔn)的角度去解決的問(wèn)題。
4.4 大數(shù)據(jù)系統(tǒng)評(píng)估標(biāo)準(zhǔn)缺乏
面向大數(shù)據(jù)需求的新硬件、軟件和服務(wù)將形成巨大的市場(chǎng)空間。目前，開(kāi)源軟件平臺(tái)為大數(shù)據(jù)存儲(chǔ)管理和處理提供了基礎(chǔ)，國(guó)內(nèi)外主流解決方案提供商紛紛基于這些開(kāi)源軟件推出商用解決方案。在國(guó)家層面建立統(tǒng)一的測(cè)試方法，對(duì)大數(shù)據(jù)平臺(tái)產(chǎn)品與服務(wù)的功能進(jìn)行評(píng)價(jià)，是引導(dǎo)技術(shù)研發(fā)、系統(tǒng)建設(shè)、系統(tǒng)調(diào)優(yōu)、采購(gòu)選型等工作，促進(jìn)大數(shù)據(jù)產(chǎn)品成熟的關(guān)鍵。為此，需要建立一套評(píng)價(jià)大數(shù)據(jù)系統(tǒng)產(chǎn)品的指標(biāo)體系和評(píng)價(jià)方法。需要廣泛吸取學(xué)術(shù)界和開(kāi)源測(cè)試軟件的成果，聯(lián)合國(guó)內(nèi)外廠商和用戶，共同建立一套評(píng)價(jià)大數(shù)據(jù)系統(tǒng)和服務(wù)的測(cè)試標(biāo)準(zhǔn)，在確保測(cè)試結(jié)果能夠充分反映系統(tǒng)特性的同時(shí)，簡(jiǎn)化測(cè)試配置，降低測(cè)試成本。
4.5 工業(yè)大數(shù)據(jù)問(wèn)題突出
縱觀大數(shù)據(jù)產(chǎn)業(yè)生態(tài)體系，我國(guó)工業(yè)大數(shù)據(jù)正面臨一系列問(wèn)題，阻礙產(chǎn)業(yè)化進(jìn)程。“重硬件輕軟件”變?yōu)椤爸剀浖p數(shù)據(jù)”，工業(yè)大數(shù)據(jù)意識(shí)淡薄；工業(yè)大數(shù)據(jù)基礎(chǔ)設(shè)施薄弱，企業(yè)數(shù)據(jù)安全問(wèn)題突出；工業(yè)大數(shù)據(jù)標(biāo)準(zhǔn)尚未建立，數(shù)據(jù)獲取效率低下；工業(yè)大數(shù)據(jù)技術(shù)創(chuàng)新與應(yīng)用能力滯后，難以滿足轉(zhuǎn)型升級(jí)需求。
對(duì)于國(guó)內(nèi)制造業(yè)企業(yè)來(lái)說(shuō)，雖然很多企業(yè)已開(kāi)始意識(shí)到將物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)應(yīng)用到產(chǎn)品和服務(wù)中去，并積極地進(jìn)行了初步的應(yīng)用實(shí)踐，但因?yàn)樵诮ㄔO(shè)過(guò)程中只強(qiáng)調(diào)數(shù)據(jù)獲取的途徑、性能、量級(jí)，沒(méi)有考慮到數(shù)據(jù)的具體分析和利用以及相應(yīng)的功能與目標(biāo)，造成許多數(shù)據(jù)采集回來(lái)后沒(méi)有可用之處或使用不充分，甚至一些關(guān)鍵數(shù)據(jù)反而沒(méi)有采集。針對(duì)各領(lǐng)域的大數(shù)據(jù)標(biāo)準(zhǔn)化工作將為大數(shù)據(jù)相關(guān)技術(shù)在領(lǐng)域中的應(yīng)用和發(fā)展提供重要的規(guī)范，因此十分有必要開(kāi)展各領(lǐng)域的大數(shù)據(jù)標(biāo)準(zhǔn)化工作。
5 大數(shù)據(jù)標(biāo)準(zhǔn)體系框架
結(jié)合大數(shù)據(jù)參考架構(gòu)、國(guó)內(nèi)外大數(shù)據(jù)標(biāo)準(zhǔn)化工作部署、大數(shù)據(jù)標(biāo)準(zhǔn)體系研究現(xiàn)狀及標(biāo)準(zhǔn)化需求，根據(jù)數(shù)據(jù)自身標(biāo)準(zhǔn)化特點(diǎn)、數(shù)據(jù)生命周期管理、當(dāng)前各領(lǐng)域推動(dòng)大數(shù)據(jù)應(yīng)用的初步實(shí)踐以及未來(lái)大數(shù)據(jù)發(fā)展的趨勢(shì)，初步構(gòu)建了大數(shù)據(jù)標(biāo)準(zhǔn)體系框架，如圖2所示。
圖2 ?大數(shù)據(jù)標(biāo)準(zhǔn)體系框架
大數(shù)據(jù)標(biāo)準(zhǔn)體系框架由7個(gè)類別的標(biāo)準(zhǔn)組成，分別為：基礎(chǔ)標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)、平臺(tái)/工具標(biāo)準(zhǔn)、管理標(biāo)準(zhǔn)、安全標(biāo)準(zhǔn)和行業(yè)應(yīng)用標(biāo)準(zhǔn)。
基礎(chǔ)標(biāo)準(zhǔn)為整個(gè)標(biāo)準(zhǔn)體系提供包括總則、術(shù)語(yǔ)、參考模型等基礎(chǔ)性標(biāo)準(zhǔn)。數(shù)據(jù)標(biāo)準(zhǔn)主要針對(duì)底層數(shù)據(jù)相關(guān)要素進(jìn)行規(guī)范以及數(shù)據(jù)交易、數(shù)據(jù)開(kāi)放共享等方面的標(biāo)準(zhǔn)。技術(shù)標(biāo)準(zhǔn)主要對(duì)應(yīng)大數(shù)據(jù)參考架構(gòu)中大數(shù)據(jù)應(yīng)用提供者的相關(guān)活動(dòng)，針對(duì)大數(shù)據(jù)集描述、大數(shù)據(jù)處理生命周期和互操作等大數(shù)據(jù)相關(guān)技術(shù)進(jìn)行規(guī)范。平臺(tái)/工具標(biāo)準(zhǔn)主要對(duì)應(yīng)大數(shù)據(jù)參考架構(gòu)中大數(shù)據(jù)框架
提供者的相關(guān)活動(dòng)，針對(duì)系統(tǒng)級(jí)產(chǎn)品和工具級(jí)產(chǎn)品等大數(shù)據(jù)相關(guān)平臺(tái)和工具以及相應(yīng)的測(cè)試方法和要求進(jìn)行規(guī)范。管理標(biāo)準(zhǔn)以及安全標(biāo)準(zhǔn)作為數(shù)據(jù)標(biāo)準(zhǔn)的支撐體系，貫穿于數(shù)據(jù)整個(gè)生命周期的各個(gè)階段，主要對(duì)應(yīng)用大數(shù)據(jù)參考架構(gòu)中安全與隱私、管理等相關(guān)活動(dòng)進(jìn)行管理規(guī)范。行業(yè)應(yīng)用標(biāo)準(zhǔn)主要是從大數(shù)據(jù)為各個(gè)行業(yè)提供的服務(wù)角度出發(fā)制定的規(guī)范。
通過(guò)對(duì)現(xiàn)有各類標(biāo)準(zhǔn)情況進(jìn)行分析可以看出：
● 在數(shù)據(jù)資源方面，我國(guó)已經(jīng)研制的一些相關(guān)標(biāo)準(zhǔn)同樣適用于大數(shù)據(jù)環(huán)境，目前急需加強(qiáng)這類標(biāo)準(zhǔn)的推廣應(yīng)用。
● 在交換共享方面，加快數(shù)據(jù)開(kāi)放共享是國(guó)家重要任務(wù)，然而尚缺乏數(shù)據(jù)開(kāi)放共享方面的標(biāo)準(zhǔn)，尤其是適用于政府?dāng)?shù)據(jù)開(kāi)放共享的標(biāo)準(zhǔn)。雖然在研2項(xiàng)交易類的國(guó)家標(biāo)準(zhǔn)，但是尚缺乏交易流程、交易數(shù)據(jù)管理等方面的標(biāo)準(zhǔn)。
● 從技術(shù)標(biāo)準(zhǔn)上來(lái)看，在數(shù)據(jù)訪問(wèn)方面，目前已經(jīng)發(fā)布和在研的數(shù)據(jù)導(dǎo)入和數(shù)據(jù)庫(kù)相關(guān)標(biāo)準(zhǔn)適用于大數(shù)據(jù)底層數(shù)據(jù)接口，但是尚缺乏分析、可視化類標(biāo)準(zhǔn)；數(shù)據(jù)質(zhì)量是大數(shù)據(jù)應(yīng)用和發(fā)展的基礎(chǔ)，目前有多項(xiàng)在研標(biāo)準(zhǔn)，但是均尚未發(fā)布，較為缺乏。大數(shù)據(jù)安全方面，部分現(xiàn)有標(biāo)準(zhǔn)適用，但是尚缺乏針對(duì)大數(shù)據(jù)的安全框架、隱私、訪問(wèn)控制類標(biāo)準(zhǔn)。
● 針對(duì)大數(shù)據(jù)平臺(tái)和工具，目前發(fā)布和在研多項(xiàng)數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)管理產(chǎn)品類標(biāo)準(zhǔn)，缺乏大數(shù)據(jù)系統(tǒng)級(jí)相關(guān)產(chǎn)品的標(biāo)準(zhǔn)；在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)也已成為產(chǎn)品，而針對(duì)系統(tǒng)級(jí)和工具級(jí)產(chǎn)品等新興產(chǎn)品，尚缺乏相應(yīng)的標(biāo)準(zhǔn)。
綜上所述，針對(duì)大數(shù)據(jù)，我國(guó)在數(shù)據(jù)管理、信息安全等方面已經(jīng)發(fā)布和在研一些標(biāo)準(zhǔn)，適用于大數(shù)據(jù)環(huán)境，提供了一定的基礎(chǔ)，但是缺乏標(biāo)準(zhǔn)化整體規(guī)劃；數(shù)據(jù)開(kāi)放共享、數(shù)據(jù)交易、數(shù)據(jù)安全、系統(tǒng)級(jí)產(chǎn)品等方面的標(biāo)準(zhǔn)以及管理和評(píng)估類的標(biāo)準(zhǔn)較為缺乏，急需研制。
6 大數(shù)據(jù)標(biāo)準(zhǔn)化工作建議
（1）完善大數(shù)據(jù)標(biāo)準(zhǔn)化工作平臺(tái)建設(shè)完善和維護(hù)大數(shù)據(jù)標(biāo)準(zhǔn)化工作平臺(tái)，力爭(zhēng)做到及時(shí)、準(zhǔn)確、高效、有序，使得工作平臺(tái)更具人性化和便利性。以我國(guó)大數(shù)據(jù)應(yīng)用需求為基礎(chǔ)，充分凝聚相關(guān)“產(chǎn)學(xué)研用”的力量，積極組織標(biāo)準(zhǔn)相關(guān)的應(yīng)用調(diào)研，研究我國(guó)的大數(shù)據(jù)標(biāo)準(zhǔn)體系，加強(qiáng)大數(shù)據(jù)標(biāo)準(zhǔn)化頂層設(shè)計(jì)，積極出臺(tái)相關(guān)建設(shè)指南，指導(dǎo)大數(shù)據(jù)標(biāo)準(zhǔn)化后續(xù)工作。加強(qiáng)研制大數(shù)據(jù)產(chǎn)業(yè)及應(yīng)用急需的總體性標(biāo)準(zhǔn)草案，同時(shí)開(kāi)展關(guān)鍵支撐技術(shù)標(biāo)準(zhǔn)、工程實(shí)施標(biāo)準(zhǔn)以及重點(diǎn)行業(yè)/領(lǐng)域應(yīng)用標(biāo)準(zhǔn)的預(yù)研工作。
（2）加強(qiáng)重點(diǎn)標(biāo)準(zhǔn)研制和驗(yàn)證推廣
結(jié)合大數(shù)據(jù)產(chǎn)業(yè)發(fā)展需求，建立并不斷完善涵蓋基礎(chǔ)、數(shù)據(jù)、技術(shù)、平臺(tái)/工具、管理、安全和應(yīng)用的大數(shù)據(jù)標(biāo)準(zhǔn)體系。加快基礎(chǔ)通用國(guó)家標(biāo)準(zhǔn)和重點(diǎn)應(yīng)用領(lǐng)域行業(yè)標(biāo)準(zhǔn)的研制。選擇典型企業(yè)、重點(diǎn)行業(yè)、重點(diǎn)地區(qū)開(kāi)展標(biāo)準(zhǔn)試驗(yàn)驗(yàn)證和試點(diǎn)示范，加強(qiáng)標(biāo)準(zhǔn)的宣貫、實(shí)施和應(yīng)用推廣。建立標(biāo)準(zhǔn)符合性評(píng)估體系，強(qiáng)化標(biāo)準(zhǔn)對(duì)市場(chǎng)培育、服務(wù)能力提升和行業(yè)管理的支撐作用。加強(qiáng)國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和團(tuán)體標(biāo)準(zhǔn)等各類標(biāo)準(zhǔn)之間的銜接配套。
（3）推進(jìn)國(guó)際標(biāo)準(zhǔn)化
我國(guó)擁有豐富的數(shù)據(jù)資源和應(yīng)用市場(chǎng)優(yōu)勢(shì)，應(yīng)盡量深入地進(jìn)入國(guó)際標(biāo)準(zhǔn)化工作，大力推動(dòng)標(biāo)準(zhǔn)化工作的國(guó)際化開(kāi)放程度，加強(qiáng)我國(guó)標(biāo)準(zhǔn)化組織與相關(guān)國(guó)際組織的交流合作。組織我國(guó)產(chǎn)學(xué)研用資源，加快國(guó)際標(biāo)準(zhǔn)提案的推進(jìn)工作，積極提交國(guó)際貢獻(xiàn)物。支持相關(guān)單位參與國(guó)際標(biāo)準(zhǔn)化工作并承擔(dān)相關(guān)職務(wù)，承辦國(guó)際標(biāo)準(zhǔn)化活動(dòng)，擴(kuò)大影響并爭(zhēng)取國(guó)際關(guān)鍵標(biāo)準(zhǔn)的主導(dǎo)權(quán)。
參考文獻(xiàn)：
[1]?中華人民共和國(guó)國(guó)務(wù)院.?大數(shù)據(jù)標(biāo)準(zhǔn)化現(xiàn)狀及標(biāo)準(zhǔn)研制[R].?北京:中華人民共和國(guó)國(guó)務(wù)院,?2015.
The State Council of the People’s Republic of China.?Action platform for greater data development[R].?Beijing:The State Council of the People’s Republic of China,?2015.
[2]?中國(guó)共產(chǎn)黨中央委員會(huì).?大數(shù)據(jù)標(biāo)準(zhǔn)化現(xiàn)狀及標(biāo)準(zhǔn)研制[N].?北京:人民日?qǐng)?bào),?2016-2016-2016.
Central Committee of the Communist Party of China.?The 13th five-year plan for economic and social development of the People’s Republic of China[N]. Beijing: People's Daily,?2016-2016-2016.
[3]?National Institute of Standards and Technology.?NIST big data interoperability framework volume 6 reference architecture[S].?[S.l.:s.n.],?2015.
[4]?張群?.?大數(shù)據(jù)標(biāo)準(zhǔn)化現(xiàn)狀及標(biāo)準(zhǔn)研制[J].?信息技術(shù)與標(biāo)準(zhǔn)化,?2015(7):?23-26.
ZHANG?Q.?Big data standardization current situation and standards development [J]. Information Technology ＆Standardization,?2015(7):?23-26.
張群（1988-），女，博士，中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院設(shè)備與數(shù)據(jù)研究室副主任，從事信息技術(shù)相關(guān)標(biāo)準(zhǔn)的制訂、修訂及研究工作，ISO/IEC JTC1/WG9大數(shù)據(jù)工作組專家，主要研究方向?yàn)榇髷?shù)據(jù)領(lǐng)域相關(guān)技術(shù)及標(biāo)準(zhǔn)。
吳東亞（1972-），女，中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院信息技術(shù)研究中心高級(jí)工程師、副主任，國(guó)家OID注冊(cè)中心副主任。負(fù)責(zé)我國(guó)信息技術(shù)標(biāo)準(zhǔn)化工作，先后主持承擔(dān)數(shù)據(jù)、網(wǎng)絡(luò)、信息化等領(lǐng)域國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)，主導(dǎo)制定多項(xiàng)家庭網(wǎng)絡(luò)、物聯(lián)網(wǎng)等領(lǐng)域國(guó)際標(biāo)準(zhǔn)，承擔(dān)工業(yè)和信息化部、國(guó)家發(fā)展和改革委員會(huì)、科學(xué)技術(shù)部、國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局等多項(xiàng)科研項(xiàng)目，獲國(guó)防科技進(jìn)步獎(jiǎng)兩次、上海市科技進(jìn)步獎(jiǎng)一次，主要研究方向?yàn)樾畔⒓夹g(shù)標(biāo)準(zhǔn)化。
趙菁華（1977-），女，中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院高級(jí)工程師，負(fù)責(zé)電子政務(wù)、數(shù)據(jù)庫(kù)、辦公軟件、游戲和信息無(wú)障礙等相關(guān)技術(shù)領(lǐng)域國(guó)家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)的制訂、修訂工作，主要研究方向?yàn)樾畔⒓夹g(shù)標(biāo)準(zhǔn)化。
總結(jié)
以上是生活随笔為你收集整理的【2017年第4期】大数据标准体系的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： wireshark相关协议详解和nc命令
- 下一篇： bash-shell详解