未来ET大脑将如何打造可编程城市
摘要:在12月20日召開(kāi)的云棲大會(huì)北京峰會(huì)上,由阿里云ET大腦架構(gòu)師陳鵬宇帶來(lái)了以ET大腦為主題的演講,從開(kāi)發(fā)者的角度講述了ET大腦的概念,介紹了ET大腦技術(shù)體系架構(gòu)、數(shù)據(jù)資源平臺(tái)、AI服務(wù)平臺(tái)技術(shù)體系架構(gòu)以及對(duì)ET大腦未來(lái)的發(fā)展需求做了介紹。
?
以下為精彩視頻整理:
?
ET大腦技術(shù)體系架構(gòu)
七年前加入阿里巴巴,在這七年里經(jīng)歷了阿里巴巴從傳統(tǒng)的BI走向數(shù)據(jù)智能,走向數(shù)據(jù)作用于業(yè)務(wù)的過(guò)程。最近三年也見(jiàn)證了ET大腦的技術(shù)和產(chǎn)品,從阿里巴巴的內(nèi)部沉淀,到走向行業(yè)去服務(wù)于政府和企業(yè)。作為一名開(kāi)發(fā)者也是ET大腦最早的使用者和產(chǎn)品的見(jiàn)證者,下面想和大家分享一下什么是ET大腦。
ET大腦是為了幫助政府和企業(yè)完成數(shù)字化轉(zhuǎn)型的一個(gè)創(chuàng)新平臺(tái),這個(gè)創(chuàng)新平臺(tái)最核心的要素有三點(diǎn),一是計(jì)算,計(jì)算幫助實(shí)現(xiàn)了在海量數(shù)據(jù)下計(jì)算的能力,數(shù)據(jù)中臺(tái)首次將數(shù)據(jù)當(dāng)成一種資源。數(shù)據(jù)中臺(tái)的存在是為了創(chuàng)造業(yè)務(wù)中未知的可能性并且去激活它。數(shù)據(jù)中臺(tái)如果從業(yè)務(wù)的角度來(lái)定義它,它其實(shí)是對(duì)業(yè)務(wù)的激活。而傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)部門是業(yè)務(wù)的支持者,而數(shù)據(jù)中臺(tái)的部門是業(yè)務(wù)的賦能者,甚至可以成為一個(gè)盈利中心。二是數(shù)據(jù),數(shù)據(jù)是讓我們看到互聯(lián)網(wǎng)和IOT的時(shí)代,有機(jī)會(huì)把所有的數(shù)據(jù)都匯聚起來(lái)并且反補(bǔ)于業(yè)務(wù);三是算法,算法則為ET大腦記錄了智慧。
ET大腦技術(shù)體系架構(gòu)
以城市大腦為例介紹一下ET大腦技術(shù)體系架構(gòu)。城市大腦背后的智能引擎并不是簡(jiǎn)單的AI技術(shù),在海量、多元的數(shù)據(jù)融合之后,要從這些數(shù)據(jù)里去挖掘出復(fù)雜場(chǎng)景下的關(guān)系,所以我們構(gòu)建了內(nèi)腦認(rèn)知的網(wǎng)絡(luò)結(jié)構(gòu)。然后采用多體智能的技術(shù),從超時(shí)空的關(guān)系里面去實(shí)時(shí)的發(fā)現(xiàn)模式。城市大腦是對(duì)整個(gè)城市的交通狀態(tài)進(jìn)行實(shí)時(shí)的洞察和調(diào)配,這個(gè)是任何人類的智慧都沒(méi)有辦法做到的,所以這也是城市大腦在智能這一板塊的創(chuàng)新。同時(shí)把數(shù)據(jù)和智能的能力開(kāi)放出來(lái),讓整個(gè)城市可編程。正如城市大腦的締造者王堅(jiān)博士所說(shuō):“城市大腦其實(shí)是用數(shù)據(jù)資源來(lái)對(duì)城市資源進(jìn)行優(yōu)化和調(diào)節(jié)”,所以我們希望城市的所有資源都是可編程的元素,讓我們通過(guò)ET大腦的開(kāi)放平臺(tái)去打造一座可編程的城市。
數(shù)據(jù)資源平臺(tái)(DRP):ET大腦的供血系統(tǒng)
數(shù)據(jù)資源是ET大腦的重要環(huán)節(jié),所以數(shù)據(jù)資源平臺(tái)至關(guān)重要堪稱ET大腦的供血系統(tǒng)。把它可以分為四個(gè)層面分別為:全域數(shù)據(jù)匯聚技術(shù)、數(shù)據(jù)融合加工工藝、數(shù)據(jù)治理方法體系、數(shù)據(jù)開(kāi)放共享機(jī)制。
我們?yōu)镋T大腦配置了全鏈路數(shù)據(jù)監(jiān)控,從數(shù)據(jù)的進(jìn)入到最后的數(shù)據(jù)應(yīng)用產(chǎn)出。一旦發(fā)現(xiàn)有問(wèn)題的數(shù)據(jù)或者有異常的指標(biāo)可以做到實(shí)時(shí)的攔截,這樣就給予系統(tǒng)很大的容錯(cuò)能力和排除問(wèn)題的時(shí)間窗口。
對(duì)于做數(shù)據(jù)的人來(lái)說(shuō),都很渴望看到數(shù)據(jù)的價(jià)值,所以我們有了數(shù)據(jù)價(jià)值圖譜。在數(shù)據(jù)價(jià)值圖譜上從底層的數(shù)據(jù)開(kāi)始,每一份數(shù)據(jù)的用處都會(huì)清楚的呈現(xiàn)出來(lái),可以去量化和評(píng)估一個(gè)數(shù)據(jù)對(duì)業(yè)務(wù)的價(jià)值,同時(shí)可以全面的對(duì)價(jià)值鏈路上出現(xiàn)的問(wèn)題做出診斷和評(píng)估。另一個(gè)問(wèn)題是數(shù)據(jù)的交換和共享。目前大部分的數(shù)據(jù)交換都還是最傳統(tǒng)的解法即信息交換,這樣對(duì)低敏感的小數(shù)據(jù)量的情況下是可行的,而ET大腦要解的是不要讓數(shù)據(jù)脫離計(jì)算。ET大腦持有大量的數(shù)據(jù),需要解決的是在一個(gè)大的平臺(tái)里面讓政府和企業(yè)內(nèi)部所有的數(shù)據(jù)匯聚之后,如何在多個(gè)部門間去共享數(shù)據(jù)的問(wèn)題。還有一個(gè)很關(guān)心的問(wèn)題是數(shù)據(jù)安全。大量的數(shù)據(jù)放在一起來(lái)用,還要追求共享、開(kāi)放、交換,要怎樣去保障安全。我們?cè)跀?shù)據(jù)存儲(chǔ)環(huán)節(jié)、數(shù)據(jù)分析環(huán)境和最后數(shù)據(jù)出口的時(shí)候,都有不同的安全措施來(lái)管控,這是對(duì)內(nèi)的管理。對(duì)外是靠阿里云的云盾去防止外部的攻擊。
?
AI服務(wù)平臺(tái)技術(shù)體系架構(gòu)
我們把AI比喻成ET大腦的神經(jīng)網(wǎng)絡(luò),把阿里的、阿里云的所有的AI通過(guò)一個(gè)開(kāi)放的框架去面向開(kāi)發(fā)者開(kāi)放,有離線的算法,也有在線的API。這套平臺(tái)一是可以做到跨異構(gòu)的數(shù)據(jù)源去讀取數(shù)據(jù)。二是基于底層的數(shù)據(jù)做的算法流程是可以跨計(jì)算引擎去調(diào)度的。有了這兩點(diǎn)之后阿里巴巴將沉淀下來(lái)的一百多種通用的機(jī)器學(xué)習(xí)的算法以及在語(yǔ)音圖像、自然語(yǔ)言理解方面的這些算法注入到這個(gè)平臺(tái)里面去向開(kāi)發(fā)者開(kāi)放。最后通過(guò)這個(gè)平臺(tái)訓(xùn)練出來(lái)的算法模型,可以實(shí)現(xiàn)一鍵部署和運(yùn)行,并且對(duì)運(yùn)行的過(guò)程、調(diào)試的過(guò)程進(jìn)行評(píng)估、跟蹤、對(duì)bug進(jìn)行優(yōu)化,實(shí)現(xiàn)了一個(gè)全鏈路的服務(wù)。
處理數(shù)據(jù)資源平臺(tái)和算法平臺(tái)之外,對(duì)于ET大腦還有一個(gè)利器即DataV,現(xiàn)在DataV在3D城市的實(shí)時(shí)繪制方面沉淀了很領(lǐng)先的技術(shù),我們希望DataV能更好的去扶持開(kāi)發(fā)者,所以我們今年將啟動(dòng)一個(gè)千萬(wàn)級(jí)別的生態(tài)扶持計(jì)劃,我們也希望能支持到開(kāi)發(fā)者去成立自己的工作團(tuán)隊(duì),在數(shù)據(jù)可持續(xù)這方面做出更多的應(yīng)用。
?
ET大腦未來(lái)的發(fā)展需求
有了ET大腦的平臺(tái),那么在DT時(shí)代什么樣的開(kāi)發(fā)者才是一名合格的開(kāi)發(fā)者,為什么數(shù)據(jù)在業(yè)務(wù)上沒(méi)有辦法被很好的應(yīng)用,是因?yàn)槎畼I(yè)務(wù)的人一般不懂技術(shù),或者是對(duì)數(shù)據(jù)的作用沒(méi)有認(rèn)知。而懂技術(shù)的人往往不愿意深入的去了解業(yè)務(wù)。這種情況下,我們也許能很好的滿足已知的、說(shuō)的清楚的需求,但沒(méi)有辦法去做到創(chuàng)新、去激發(fā)未知的業(yè)務(wù)需求。所以需要開(kāi)發(fā)者深入到車間去了解業(yè)務(wù)。要真正把技術(shù)放到業(yè)務(wù)場(chǎng)景里去錘煉,在業(yè)務(wù)場(chǎng)景里去看到底哪些數(shù)據(jù)是有價(jià)值的。
?
ET大腦重新定義了Developer,相信未來(lái)的城市開(kāi)發(fā)商的主體會(huì)是DT的代碼工作者,今天寫(xiě)出來(lái)的程序明天就會(huì)成為這個(gè)城市資源的開(kāi)發(fā)商。今天代碼里調(diào)動(dòng)的是cpu里面的內(nèi)存、硬盤(pán)、網(wǎng)絡(luò),但是未來(lái)我們的程序里面調(diào)動(dòng)的是城市里的土地資源、公共服務(wù)資源、人才資源、公交資源等。相信未來(lái)的開(kāi)發(fā)者是可以和業(yè)務(wù)走的非常近的,未來(lái)的技術(shù)人員可以不是業(yè)務(wù)的支持者,或者它可以激發(fā)新的業(yè)務(wù),所以這是ET大腦非常令人興奮的地方。我們也希望大家能夠看到新的機(jī)會(huì),而阿里云的ET大腦會(huì)在背后為各位開(kāi)發(fā)者提供能量。
本文由云棲社區(qū)志愿者小組smile小太陽(yáng)整理,毛鶴審校。編輯:郭雪梅。
總結(jié)
以上是生活随笔為你收集整理的未来ET大脑将如何打造可编程城市的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: C语言学习笔记1——C语言程序
- 下一篇: 机器学习之降维(特征选择与特征提取)