日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

城市大数据的生态模型及应用

發布時間:2025/3/15 编程问答 16 豆豆
生活随笔 收集整理的這篇文章主要介紹了 城市大数据的生态模型及应用 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

鄧暉

中興軟創科技股份有限公司,江蘇 南京 211153

摘要:從提出一個生態模型開始,闡述了建立一個可持續的城市大數據生態所需要的關鍵角色以及地方政府在演進這些角色中所能發揮的作用。接著,給出了一個實際案例作為這個模型的參考實現,并分享了案例中企業在配合政府建立大數據生態過程中所開展的一系列工作以及工作中總結的經驗和教訓,驗證這個模型在實踐中的可行性。最后,給出了一個具體的大數據應用案例:通過大數據手段來幫助政府優化行政審批流程,使得優化后的流程對市民更有利,從中一窺未來政府通過大數據進一步精細化社會管理的潛力。

關鍵詞:大數據;產業模型;社會治理;社會服務;可信分析

中圖分類號:TP391 ????文獻標識碼:A

doi: 10.11959/j.issn.2096-0271.2016020

Big data ecosystem model and application in city

DENG Hui

ZTE Soft Technology Co., Ltd., Nanjing 211153, China

Abstract: With an abstracted model of big data ecosystem, the key roles which are necessary for setting up a sustainable big data ecosystem in city level market, were introduced. The local government’s role on the evolution of roles in big data ecosystem were also discussed. An implementation reference of this model was demonstrated, with sharing a series of works in the implementation, as well as lessons and learned during work, which undertaken by the company, and the local government who cooperated with ZTE soft in the reference, to witness the feasibility of this model of big data ecosystem. Finally, an application case of big data technology was introduced to illustrate the potential capability of local government when moving forward to delicacy management of society.

Key words: big data, business model, social governance, social service, convincible analysis

1? 引言

中國經過改革開放以來30多年的發展,城市化步伐不斷加快,每年有1500萬人口進入城市,如圖1所示。到2025年,中國將會有近三分之二的人口居住在城市,已經進入了一個城市社會。與此同時,城市人口的增加帶來的交通擁堵、環境污染、資源過度消耗、各類突發事件增加等社會矛盾日益突出,各種“城市通病”與日俱增,城市管理難度加大,這對城市管理者的管理能力和服務水平提出了考驗。城市要保持可持續發展越來越受到各種因素的制約,需要轉變方式、調整結構、適應日益增長的人民生活方式、不斷解決突發性事件等問題。人們在探索中意識到,智慧城市是醫治“城市病”的最佳良藥。

圖 1?? 2000-2015 年全國城鎮人口數情況

為了規范和推動智慧城市的健康發展,住房和城鄉建設部于2012年12月5日正式發布了“關于開展國家智慧城市試點工作的通知”,并印發了《國家智慧城市試點暫行管理辦法》和《國家智慧城市(區、鎮)試點指標體系(試行)》兩個文件,正式啟動了全國智慧城市建設高潮。到2015年公布的第三批試點名單,共計289個大小城市加入了試點城市范圍,住房和城鄉建設部智慧城市試點城市分布情況見表1。

表 1?? 住房和城鄉建設部智慧城市試點城市分布情況

在一輪接一輪的智慧城市建設過程中,大數據技術在城市建設的應用逐漸成為智慧城市建設的熱點之一。2015年中興通訊股份有限公司(以下簡稱中興通訊)把“以大數據應用為中心”的智慧城市建設稱為“智慧城市2.0”,從而與之前“以建設業務系統為中心”的智慧城市建設區分開。

?

2? 城市大數據生態模型

2.1? 城市大數據

在長期的城市建設與運營過程中,政府積累了大量的數據,如經濟、民生、交通、旅游、醫療、安全等各行各業的數據。同時也積累了大量的業務系統。以重慶市為例,包括51個部門,平均每個部門有5~6個系統,整個政府有近300個系統在運行,如圖2所示。

圖 2?? 重慶市應用系統按建設級別分類

這些系統包含的數據涉及了城市的方方面面,其中蘊藏的價值亟需有效的手段進行挖掘與發現。

與互聯網公司所擁有的大數據不同,城市大數據具有自身的特點,見表2。

表 2?? 城市大數據與互聯網大數據的對比

城市大數據與互聯網大數據雖然各有不同,但可以互相補充,從而共同發揮更大的經濟效益和社會效益。

2.2? 大數據生態

大數據的潛在經濟價值催生了大數據的交易。自2015年4月15日全國首家大數據交易所——貴陽大數據交易所正式掛牌交易起,先后有北京大數據交易所、上海大數據交易所、廣州大數據交易所、陜西大數據交易所和長江大數據交易所等機構啟動,圍繞大數據交易開始形成一個生態系統,如圖3所示。

圖 3?? 大數據交易生態系統模型

圍繞這個生態系統最外圍的是工具廠商,這些廠商提供大數據采集、轉換、存儲、分析、可視化等技術手段。Google、Cloudera、Amazon等公司為大數據的技術推動做出了巨大貢獻,同時大量的開源社區和產品逐漸成為大數據技術潮流的中堅力量。

處于生態中心位置的是大數據交易商。數據生產者為大數據交易商提供初級數據,后者通過數據標準化把初級數據轉換成高級數據存儲在基礎設施運營商處。基礎設施運營商通過提供存儲服務和計算服務獲得市場地位,并從中衍生出PaaS運營商來減輕大數據交易商對技術的需求。

數據挖掘者通過基礎設施運營商提供的計算服務,結合領域知識對高級大數據進行挖掘。獲得的有價值成果通過大數據交易商的交易平臺提供給數據消費者。這樣吸引更多的數據消費者源源不斷地加入交易平臺,提出更多的問題并支付獲得的滿意答案,由此衍生出大數據咨詢商來引導大數據消費者更好地消費。

數據消費者的支付通過大數據交易商的分成平臺,使得數據生產者也獲得相應的回報,這樣整個生態就能夠自生自長,實現良性循環。

在真實世界里,一個企業可能兼有這個生態中的一部分、一個或多個角色,或者只專注與某個細分領域,如“中關村大數據產業聯盟”就活動在“咨詢”這個細分領域。

從大數據交易生態系統也可以看出,有些領域如“數據標準化”,多數有識之士覺得很重要,但標準化并沒有先行發展起來。究其原因就在于標準化其實是一個局部問題而非全局問題。另外,這個產業模型讓數據本身不需要發生大規模移動或復制,避免了數據安全、個人因素、產權歸屬、初級或高級數據定價等復雜的社會問題和商業倫理問題,為持續進行交易提供理論依據。

2.3 ?政府與數據交易商

在大數據交易這個生態系統里形成初始的生態平衡是非常關鍵的。在全國此起彼伏的智慧城市建設以及交易所設立的浪潮中,政府有天然的優勢來孵化數據交易商角色,具體原因如下。

(1)政府是最大的數據生成者

如前所述,城市大數據基本都在政府手中,另一小部分在黨政機關或事業單位手中。另外,隨著智慧城市系統的建設,政府手中的大數據會越來越完善,越來越動態。

(2)政府是最大的數據消費者

我國的社會治理模式是“大政府、小社會”的模式,要求政府對國計民生方方面面做好保障與服務工作。這些工作的順利開展都離開不科學決策,離不開數據的支撐。隨著大數據價值的不斷發現,政府治理的效率也將不斷完善。

(3)政府是城市公共設施的提供者

政府也將持續為每個城市的健康運行提供必要的基礎設施,如交通、水利、學校、醫院、水電煤氣等。而信息基礎設施正在成為城市越來越重要的基礎設施之一。到2013年上半年,全國共規劃建設數據中心255個,已投入使用173個,總用地約713.2萬平方米,總機房面積約400萬平方米。

可見,在大數據生態的5個核心角色中,政府已經身兼3個角色。

另一方面,社會資本在目前的產業環境下承擔大數據交易商角色仍有很多挑戰。

●大數據交易的法律法規、信息安全標準等宏觀政策還不完善,導致各種市場主體對參與大數據交易持觀望態度。

●大數據交易還沒有看得見的成熟的商用模式,能否在預期的投資周期里獲得投資合理回報是一個很大的問題。

●由于大數據交易對象的高度技術化,如何吸引大規模的用戶,認同交易物有所值,需要強大的信用支撐來鼓勵各種用戶先行嘗試。

在大數據產業初期,通過政府投資,其他社會資本參與成立數據交易商是一個比較現實的選擇。政府可以在實踐過程中打通產業各個環節,迅速完成法律法規建設,通過PPP(public-private-partnership,公私合作)模式、政府采購服務以及財政補貼的方式來為新興產業提供資本和信用保證。

?

3 ?實踐案例

中興通訊股份有限公司和銀川市政府共建智慧城市是大數據生態系統產業模型的一個實踐案例。其中,中興軟創科技股份有限公司作為數據挖掘者參與了銀川市城市大數據的合作開發;銀川市政府承擔數據提供者和數據消費者的角色;銀川市與中興通訊合作組建的中興(銀川)智慧產業有限公司承擔了交易商和基礎設施運營商的角色。合作開發過程主要圍繞“基礎設施、技術架構、獲取數據、分析列表、分析人才、分析過程和決策應用”7個方面展開。

3.1? 基礎設施

在目前的技術條件下,獲得城市大數據運營所需的基礎設施其技術困難不大。以銀川市為例,從動土開工到大數據中心投入使用,整個工期不到一年,總體成本對于一個城市而言不高。也可以采取租賃互聯網公司數據中心的方式,但考慮數據安全、運維成本、區位優勢等因素后,城市自建大數據中心仍然是主流選擇。

3.2? 技術架構

滿足城市大數據開發需要的技術平臺也不難搭建。以筆者研究團隊的經驗,這個平臺應該包括大數據采集器、數據中心、主數據管理、大數據分析器、大數據服務器、可視化服務器、大數據客戶端7個部分,技術才算是比較完整的,如圖4所示。

圖 4?? 滿足城市大數據開發所需要的技術平臺架構

大數據采集器能夠實現海量數據的收集,不管是結構化數據還是非結構化數據,文本、語言、視頻都能實現數據的采集、清洗、整合、轉換和裝載,這些數據最終存儲在數據中心。

數據中心從軟件與硬件層面實現對海量數據的存儲和訪問,同時注重能耗與安全。主數據管理則實現數據的編目、管理、授權、共享和交換,維護城市數據模型,形成五大庫(即人口庫、法人庫、地理信息庫、建筑物庫和宏觀經濟庫),并維護各自的過程庫、業務數據庫和主題應用庫等。

大數據分析器根據問題、目標,設計出分析模型及數據處理、訓練、檢驗過程,將設計好的藍圖交給大數據服務器計算。大數據服務器管理所有的計算資源,實現分布式計算、海量數據即時處理。可視化服務器把大數據分析結果轉換成圖形,直觀地告訴客戶所擁有數據的形態和關鍵特征,這些圖形最終通過大數據客戶端向用戶呈現。

大數據客戶端包括如下3類。

●數據服務平臺:面向公眾,以網站的形式向公眾提供大數據開放服務,鼓勵大眾參與城市服務。

●決策服務平臺:面向各級領導,通過圖表方式呈現經濟、民生等數據的分析結果。

●管理服務平臺:面向政府工作人員,通過縮放地圖、拉動時間線來查看其感興趣的數據,如街道主任可以限定自己所處街道查看人口出生率,而同級教育主任可能更關心掃盲率。

3.3? 獲取數據

在城市大數據開發過程中,真正的困難是從獲取數據開始的。從產業模型角度看,屬于培育大數據生產者的工作。

首先,政府部門開發自己的數據意愿很低。這其中的原因非常多,包括政策上的顧慮、部門立場的考慮以及公開數據可能帶來的種種問題和對變化的擔憂。在這些因素里,數據安全是一個繞不開的話題。2015年刑法修正案在信息安全領域明確擴大了犯罪主體的適用范圍,使得部門主要領導和相關負責人都不愿意承擔因數據泄漏風險引發的連帶責任。為了讓政府部門的數據能夠更有效地共享,除了技術上不斷提高,加大數據保護的力度之外,在法律、制度上進一步細化和松綁已成為不可缺失的一環。商業上的創新也比較關鍵,比如考慮一種保險制度來解除大數據共享過程中所引發的安全責任風險。

其次,數據預處理(即把低級數據加工成高級數據)的工作量非常大。一方面,政府的系統建設過于分散,都是大量的小廠商開發出來的,數據規范性一開始就不高;另一方面,這些政府系統一開始沒有考慮向大數據分析優化,缺失數據嚴重,而不同系統之間的數據一致性更加沒有保障。這就要求廠商花出大量的時間進行數據查漏補缺,通過不同的數據源進行相互驗證來獲得更加完整、準確的數據集。在這個預處理過程中,本身也有一些大數據技術在其中應用,比如通過數據分析來判斷哪些數據集準確性更高,從而替換其他重復數據。

另外,數據格式五花八門,有很原始的表格、文本數據,也有紙質數據,需要通過OCR掃描識別入庫。

3.4? 分析列表

有了數據之后,接下來就是要有分析目標。從產業模型角度看,屬于培育大數據消費者的工作。

在培育消費者方面,目前比較新穎的做法就是大數據競賽。例如,2015年8月在上海舉行的開放數據創新應用大賽,獎金最高達20萬元。

傳統的做法是需求調研,通過和各委(員會)、辦(公室)、局座談來發現他們工作中的難題,并從中找到大數據可以勝任的問題列表。這種方式由于信息不對稱,導致效率比較低。因此,在選擇部門時應該考慮部門的業務特點、部門積極性和領導人風格來安排優先次序。

3.5? 分析人才

企業獲得合格的大數據分析人才不是一件容易的事情,主要是因為大數據分析人員不僅要熟悉大數據工具、技術,還需要精通數理統計以及有足夠的社會通識,才能通過一層層數據關聯關系找出問題的答案。

一種可行的辦法是通過2~3個小團隊高效協作的方式來解決,類似“戚家軍”的戰斗組織形態,這樣可以整體降低對人才的需求門檻,使得產業模型里的數據挖掘者可以規模化。

3.6? 分析過程

分析人員在針對具體問題進行分析前要學習很多算法,除此之外還要關注如下重要的問題。

(1)評估方法是關鍵

算法要在新數據上的表現和在樣本數據上的表現幾乎一樣好。比較好的做法是把數據集一分為二,一部分用于訓練模型,一部分用于模型評估。交叉驗證,觀察算法的穩定性。如果算法不能穩定下來,那么結果是非常可疑的。因為服務的領域是公共服務領域,如果一旦錯誤執行,就會存在很大危害。另外,訓練模型也不能訓練過度,避免出現過度擬合的問題。

(2)特征提取是根本

分析人員不要迷信算法,大多數復雜算法效果大同小異。但要確保完全理解這些等價算法中的一種,然后一直用下去。

在分析過程中如果能找到合適的特征,對于達到分析目標所需的樣本數據量就能大大縮減。數據分析人員需要完整地掌握各種特征工程來快速找到樣本數據的特征向量。如果分析人員非常懂業務,也可以彌補特征工程經驗不足的短板。特征提取是大數據分析非常重要的成功因素。

(3)時間瓶頸是模型訓練,而不是數據集規模

在模型訓練過程中,需要花費大量的精力進行參數優化,從而得出比較合理的解。在承諾給政府部門一個分析結果之前,應該充分留有這部分的時間。

另外,還有“數據自大”問題,很多人拿到了數據以為很大,其實這只是很小的部分,但他自己不知道,所以結果會出現偏差。還有就是算法演化問題和數據生產者的看不見的動機,這些都會導致分析結果和實際出入較大,分析時需要仔細甄別。

3.7? 決策應用

當數據分析人員把一個分析結構給政府相關部門,報告里面的結論是否就會很快被采納?其實不一定。分析結果不能及時應用主要包括如下原因。

(1)大數據分析透明度不足

大數據分析由于算法上的艱深難懂,除專業人士之外,其他人很難搞懂,導致最終的分析結果很難證明其結果是正確的、中間的分析過程是可靠的,使得政府不是非常愿意主動采信這樣的分析結果。

(2)缺乏第三方機構的驗證

如果有第三方機構驗證也能促進政府放心使用大數據分析結果,使政府決策更具科學性。但企業因為商業機密方面的原因,不愿意公開分析過程中的數據模型,導致第三方沒有合適的驗證方式。

(3)多方位分析結果相互不支持

有時確實會出現多個分析結果打架的情況,這時候需要仔細排查,分析是數據上的原因還是算法上的原因。但有時這樣的分析結果沒有及時發現就報給政府部門,將導致相關部門對分析結果的可信度更加擔憂。

如何提高大數據分析結果的可信度,筆者認為可行的辦法是改變應用方式。由傳統的“報告式”結果呈現轉變為“探詢式”結果呈現,中興軟創科技股份有限公司在這方面正在進行較大的技術創新。例如,對政府行政審批數據進行了一個預測分析,通過KNN回歸模型來預測每一類行政審批事項當前最合理的辦件承諾時間。這個承諾時間是動態變化并適配外部環境變化(如收件量、工作人員狀況、時節、社會熱點等)的,從而讓這個時間更加科學。

?

4 ?結束語

本文介紹了筆者在城市大數據開發方面的一些經驗。這個領域還有很多重要問題需要一一面對,如能耗與污染、信息模型與標準庫、可靠性與可用性等。在工作開展的過程中會遇到很多現實困難,但更多的是解決辦法。其中,發展大數據生成者和消費者并建立完整生態依然是發展大數據產業的重中之重。

國務院發布了《國務院關于印發促進大數據發展行動綱要的通知》,中國的大數據產業已經勢不可擋,必將開始一個新的智慧城市時代。

鄧暉(1974-),中興軟創科技股份有限公司智慧產品部副部長。1999年畢業于哈爾濱工業大學機器人研究所,加入中興通訊股份有限公司計費產品線。有15年的電信行業產品研發、交付及管理從業經驗。歷任高級研發工程師、系統架構師、大項目經理、產品經理、客服部長、市場總監等職務。有豐富的國內(國際)市場、研發、交付工作經驗和國家(行業)標準編寫經驗,多次參與智慧城市的頂層設計。

創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的城市大数据的生态模型及应用的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

主站蜘蛛池模板: 国产精品亚洲成在人线 | 亚洲免费av网站 | 一边顶弄一边接吻 | 淫片在线 | 看污片网站 | 石原莉奈在线播放 | 噜噜噜久久久 | 波多野吉衣av在线 | 欧美亚洲在线播放 | 色呦呦国产 | 2023国产精品| 久久精品免费观看 | www黄色网址| 日本在线加勒比 | 欧美aaaaaaa | 无码国产精品一区二区色情男同 | 黄色一级片视频 | 丁香六月天婷婷 | 日本一区二区视频免费 | 国产亚洲片 | 国产sm调教一区二区 | 操你妹影院 | 91精品国产综合久久久久久久 | 爱爱爱爱网 | 性无码专区无码 | 91久久免费| 亚洲精品久久夜色撩人男男小说 | 国产网站大全 | 久热这里| 国产91小视频 | 精品产国自在拍 | 亚洲乱码中文字幕久久孕妇黑人 | 国产网站久久 | 91秦先生在线播放 | 欧美人与野 | 做爰视频毛片视频 | 小小姑娘电影大全免费播放 | 久久精品一日日躁夜夜躁 | 日韩国产小视频 | 欧美综合网 | 婷婷激情小说 | 蜜臀久久99静品久久久久久 | 国产精品入口麻豆 | 午夜少妇| 香蕉视频官网在线观看 | 丁香一区二区三区 | 成人av手机在线观看 | av在线三区| 久久99精品国产.久久久久 | 精品久久一区 | 那个网站可以看毛片 | 欧美巨大另类极品videosbest | 色午夜av| av中文资源 | 国产免费黄色小视频 | 91视频在线 | 白石茉莉奈中文字幕在 | 和黑帮大佬的365 | 黄色大片儿. | 绿帽人妻精品一区二区 | 国产精品人人做人人爽 | 爱搞国产| 亚洲免费在线 | 免费av大全| 91原创视频在线观看 | 深夜福利网 | 色999视频 | 国产,日韩,欧美 | 美女被揉胸视频 | 一级全黄男女免费大片 | 91久久国产综合久久91精品网站 | 九九黄色| 免费国偷自产拍精品视频 | 涩色视频 | 国产私拍 | 一区视频在线免费观看 | 日韩在线观看视频免费 | 黑料av在线 | 亚洲精品国产精品乱码不99热 | 日韩不卡免费 | 在线视频这里只有精品 | 日韩理论片 | 一级黄毛片 | 中字av在线| 欧美一区二区激情视频 | 中日韩黄色片 | 麻豆视频在线观看免费网站 | 一级黄色片看看 | 长篇乱肉合集乱500小说日本 | 中文字幕无产乱码 | 黄瓜视频在线免费观看 | 免费福利在线观看 | 欧美videos另类精品 | 国产无套精品一区二区三区 | 91香焦视频 | 99久久99久久精品国产片桃花 | 伊人网视频 | 超在线视频 | 风流还珠之乱淫h文 |