導(dǎo)讀：今天的內(nèi)容由阿里CIO學(xué)院攻“疫”技術(shù)公益培訓(xùn)賈揚(yáng)清專場(chǎng)整理而來。直播中賈揚(yáng)清向大家分享了人工智能的工程和產(chǎn)品實(shí)踐，首先介紹了什么是人工智能以及人工智能的應(yīng)用；然后和大家一起探討了人工智能系統(tǒng)中的重要問題，如算法創(chuàng)新背后的算力突破、云上平臺(tái)能提供的價(jià)值；最后給大家剖析了大數(shù)據(jù)和人工智能之間的關(guān)系，作為一個(gè)企業(yè)應(yīng)該如何擁抱AI以及智能化年底企業(yè)布局的重點(diǎn)。

?

一、人工智能算法

?

目前，AI（人工智能）已經(jīng)成為科技產(chǎn)業(yè)大趨勢(shì)。各個(gè)行業(yè)都與“AI”密切相關(guān)。與AI相關(guān)的領(lǐng)域如下圖所示，其中包括與AI強(qiáng)相關(guān)的領(lǐng)域和AI間接賦能的的領(lǐng)域。那么究竟什么是人工智能、人工智能的應(yīng)用以及人工智能系統(tǒng)將在之后一一介紹。

?

?

人工智能發(fā)展的80年，實(shí)現(xiàn)了從圖靈測(cè)試到全民換臉。機(jī)器是通過人工智能像人一樣來回答問題、創(chuàng)作或者計(jì)算分析的，在一些領(lǐng)域，計(jì)算機(jī)已經(jīng)能夠做的和人一樣優(yōu)秀。例如在2019年網(wǎng)絡(luò)上的“全民換臉”都是基于人工智能中的深度學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)等技術(shù)的廣泛應(yīng)用的結(jié)果。

?

?

目前，人們生活中以及工業(yè)生產(chǎn)中都有很多“AI”技術(shù)的應(yīng)用，用來代替人類的工作。例如比較流行的“ELON MUSK’S”能夠模擬人的大腦工作。但隨著人工智能的快速發(fā)展，也出現(xiàn)了一些對(duì)人工智能的反思和一些“假冒AI”。

?

?

人工智能AI在發(fā)展過程中面臨了一系列的事件，其中有比較嚴(yán)重的假冒偽劣AI騙取2億融資的事件。那么人工智能究竟是什么以及它的用途主要有哪些是接下來要重點(diǎn)討論的問題。

?

?

在學(xué)術(shù)界，人工智能的定義也有所差異。人工智能是接受輸入的信息，通過信息的整理判斷，像人一樣對(duì)輸入的信息做出一系列理性行為和決策。它的主要特征就是“理性的行動(dòng)”。

?

?

在這個(gè)“感知”到“決策”的反饋中，如何感知外部世界信息成為人工智能能否去行動(dòng)的關(guān)鍵。既然是要模擬人的大腦，那人去感知的過程其實(shí)是一個(gè)認(rèn)識(shí)和學(xué)習(xí)的過程。那也就是人工智能中“深度學(xué)習(xí)”所要解決的問題。

?

?

深度學(xué)習(xí)

?

只有將外部信息（視頻，文字，口令等）轉(zhuǎn)換成機(jī)器語言才能被人工智能所接受并作出反應(yīng)。這個(gè)問題的思考早在人工智能初期就被科學(xué)家所考慮和研究。

?

?

在這之后人們開始討論如何通過視覺感知來完成信息的輸入，并做了很多研究。2012年，加拿大多倫多大學(xué)的ImageNet競(jìng)賽冠軍獲得者Hinton和他的學(xué)生Alex Krizhevsky設(shè)計(jì)的。也是在那年之后，更多的更深的神經(jīng)網(wǎng)絡(luò)被提出，比如優(yōu)秀的vgg,GoogLeNet。這對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法而言，已經(jīng)相當(dāng)?shù)某錾?/p>

?

AlexNet開始的深度學(xué)習(xí)歷程：

?

通俗的說，就是在大量的物體中，準(zhǔn)確地識(shí)別我們指令中需要的物體。這個(gè)模型的應(yīng)用使得圖像識(shí)別領(lǐng)域取得了突飛猛進(jìn)的發(fā)展，并被廣泛應(yīng)用。

?

?

神經(jīng)網(wǎng)絡(luò)這種分層學(xué)習(xí)的模式跟我們?nèi)祟惔竽X一樣，隨著不斷地學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)也變得越來越復(fù)雜。假設(shè)要在百萬級(jí)的圖片信息中找已標(biāo)注的信息“貓”，然后把編輯好的視覺網(wǎng)絡(luò)的模型在一個(gè)非常大的數(shù)據(jù)集中訓(xùn)練。通過模型的迭代實(shí)現(xiàn)更復(fù)雜的訓(xùn)練。

?

?

目前，比較普遍使用的“RestNet模型”，深度在一百多層，并加入了一些最新的科研成果,例如最下面圖中如拱橋部分的快速鏈接，可以有效快速的訓(xùn)練如此深的網(wǎng)絡(luò)。最終解決視覺領(lǐng)域的“感知”問題。

?

?

阿里云：智慧航空機(jī)坪管理

?

通過人工智能來識(shí)別機(jī)種，登機(jī)門，機(jī)場(chǎng)車輛，并與實(shí)際地圖結(jié)合起來，以及了解飛機(jī)在飛行過程中的運(yùn)行軌跡等等，這些信息都可以作為輸入的信息來通過人工智能管理，使得機(jī)場(chǎng)運(yùn)轉(zhuǎn)更加快捷和高效。

?

?

上面所說的，深度學(xué)習(xí)是感知的一個(gè)重要形式和方法。深度學(xué)習(xí)算法主要組成：

?

• 數(shù)據(jù)標(biāo)注

• 算法模型開發(fā)

• 高性能分布式訓(xùn)練

• 模型調(diào)優(yōu)

• 模型部署

?

人工智能在“感知”之后，另一個(gè)需要做的就是“決策”。深度學(xué)習(xí)是一個(gè)黑箱操作，能夠很好地學(xué)習(xí)和感知外部信息，但是不能給出反饋及如何解釋自己感知的問題究竟是什么原因。那就需要“決策”來分析和反饋。

?

?

傳統(tǒng)機(jī)器學(xué)習(xí)的榜樣是決策樹算法和邏輯回歸。例如，銀行發(fā)放貸款的過程就是一個(gè)權(quán)衡各方面因素之后的一個(gè)決策過程。可以通過決策樹的形式，進(jìn)行“Yes”或“No”的判斷來最終決定是否發(fā)放貸款。而邏輯回歸，指的是兩類數(shù)據(jù)之間的相互關(guān)系，通過數(shù)學(xué)的方式精確求解。

?

?

其實(shí)，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)是一種互補(bǔ)的狀態(tài)。深度學(xué)習(xí)非常好地解決了感知的問題（計(jì)算機(jī)視覺，語音等等），可以用神經(jīng)網(wǎng)絡(luò)的架構(gòu)來解決非常多的“感知”的問題，但它需要解釋這些感知的東西。而傳統(tǒng)機(jī)器學(xué)習(xí)則沒有這么人性化的感知功能，但它的模型相對(duì)較小，我們可以直接解釋（例如金融，風(fēng)控等）。

?

?

人工智能很早便被應(yīng)用在廣告領(lǐng)域中。早在宋朝就有廣告，用來幫助來招攬生意。

?

?

目前比較典型的廣告場(chǎng)景是淘寶廣告。廠家首先通過消費(fèi)者個(gè)人的瀏覽信息了解用戶的喜好是什么，然后再通過智能推薦系統(tǒng)來推送消費(fèi)者所搜索的相關(guān)產(chǎn)品。這樣的一些智能算法的廣泛應(yīng)用使得用戶的信息瀏覽更加高效和精細(xì)化。

?

?

無論是感知還是決策，都和算法相關(guān)。

?

• 感知。與深度學(xué)習(xí)算法相關(guān)，涉及到數(shù)據(jù)標(biāo)注、算法模型開發(fā)、高性能分布式訓(xùn)練、性能調(diào)優(yōu)、模型部署等。

• 決策。傳統(tǒng)機(jī)器學(xué)習(xí)算法以及深度學(xué)習(xí)算法相關(guān)，涉及到行業(yè)行為數(shù)據(jù)采集、結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)處理、數(shù)據(jù)和算法的組合建模、算法開發(fā)訓(xùn)練和調(diào)優(yōu)、模型部署和實(shí)時(shí)訓(xùn)練反饋等。

?

?

二、人工智能系統(tǒng)

?

在算法發(fā)展迅猛的今天，相應(yīng)的基礎(chǔ)設(shè)施支持也顯得尤為重要，這就需要人工智能系統(tǒng)的支持。構(gòu)建人工智能或者機(jī)器學(xué)習(xí)系統(tǒng)的兩個(gè)不可或缺的因素是算法和算力，算法創(chuàng)新的背后是算力的突破。

?

截止到2019年，人工智能對(duì)于算力的需求如下圖所示。相較于AlphaGo Zero，AlexNet對(duì)于算力的需求已經(jīng)有了30萬倍的增長。這種情況下解決算法迭代和算法落地的問題，給系統(tǒng)提出了更高的要求。

?

?

AlexNet在2013年的時(shí)候所謂的系統(tǒng)如下圖所示，簡單的一臺(tái)機(jī)器加GPU，當(dāng)時(shí)的訓(xùn)練成本大約是七天每天500瓦，也就是業(yè)務(wù)模型的迭代周期是一周左右。

?

?

在業(yè)務(wù)需要飛速發(fā)展的今天，比如廣告推薦，一周的模型迭代周期是遠(yuǎn)不能滿足需求的。因此，目前越來越多的人關(guān)注如何通過大規(guī)模集群或者芯片的方式來為人工智能系統(tǒng)提供更好的算力。MIT在2014年的時(shí)候做了一個(gè)對(duì)比，一個(gè)人在一分鐘內(nèi)大概可以處理77張圖片，單個(gè)GPU相同的時(shí)間內(nèi)可以處理230張，盡管單個(gè)GPU的處理速度與人的處理速度相差不大，但是其可以通過GPU集群的方式實(shí)現(xiàn)更大規(guī)模更快速的計(jì)算，比如下圖中512個(gè)GPU的集群，可以在一分鐘內(nèi)處理60000張圖片。

?

?

人工智能系統(tǒng)在設(shè)計(jì)的過程中需要關(guān)注怎么樣做高性能存儲(chǔ)，怎么樣實(shí)現(xiàn)機(jī)器之間的快速通信，怎么樣保持分布式集群的穩(wěn)定性。今天，阿里云內(nèi)部有一個(gè)Eflops平臺(tái)，可以實(shí)現(xiàn)三鐘內(nèi)1018次的計(jì)算，耗電128千瓦每分鐘。這是在2015年以前是無法想象的能力，這一能力的實(shí)現(xiàn)主要?dú)w功于大規(guī)模集群，還有系統(tǒng)底層芯片的伸縮性。

?

?

目前國內(nèi)很多家企業(yè)致力于更高性能芯片的研發(fā)，阿里也不例外。2019年，阿里發(fā)布了全球最高性能的AI推理芯片含光800，并在城市大腦和航空大腦的實(shí)際測(cè)試場(chǎng)景中進(jìn)行了測(cè)試，峰值性能可以達(dá)到將近80萬張圖片每秒，這與上一代的芯片相比，實(shí)現(xiàn)了40倍左右的性能提升。

?

?

系統(tǒng)復(fù)雜度上升后，會(huì)帶來一系列的問題，包括軟件復(fù)雜度、硬件復(fù)雜度、資源管理復(fù)雜度、調(diào)度效率復(fù)雜度、全系統(tǒng)優(yōu)化復(fù)雜度，這在系統(tǒng)發(fā)展過程中是比較共性的挑戰(zhàn)。

?

?

需要強(qiáng)調(diào)的是，AI集群不等于通用集群。AI在做訓(xùn)練的時(shí)候需要子任務(wù)周期性同步，不同機(jī)器之間需要有高性能的通信，很多時(shí)基于GPU或NPU專用部件。不同的計(jì)算模型，不同的交互模式目前對(duì)于AI訓(xùn)練有比較大的挑戰(zhàn)。

?

阿里的各種業(yè)務(wù)場(chǎng)景都可以用到AI，因此可以通過AI實(shí)踐打磨平臺(tái)設(shè)計(jì)，比如手淘-拍立淘的百萬分類模型、淘寶網(wǎng)的語音+NLP和阿里媽媽廣告推薦等。

?

打磨后的飛天AI平臺(tái)分為三層，從最底層的基礎(chǔ)硬件，到中間的訓(xùn)練和推理框架，再到開發(fā)平臺(tái)。對(duì)于AI平臺(tái)來講很重要的平臺(tái)有以下三個(gè)：

?

• 輕量級(jí)AI開發(fā)平臺(tái)：幫助算法和數(shù)據(jù)科學(xué)家實(shí)現(xiàn)一鍵式開發(fā)、調(diào)試部署

• AI和大數(shù)據(jù)協(xié)同開發(fā)平臺(tái)：幫助更加迅速地開發(fā)面向大數(shù)據(jù)型業(yè)務(wù)的系統(tǒng)

• AI推理服務(wù)平臺(tái)：解決推理需要的計(jì)算資源問題、模型訓(xùn)練、部署和效果監(jiān)測(cè)

?

以上三個(gè)平臺(tái)支撐了算法API的輸出和垂直領(lǐng)域平臺(tái)以及大腦的解決方案。

?

?

深度學(xué)習(xí)領(lǐng)域，斯坦福大學(xué)推出了一個(gè)名為DAWNBench的測(cè)試基準(zhǔn)，相比于之前的最有結(jié)果，阿里云機(jī)器學(xué)習(xí)實(shí)現(xiàn)了性能百分之十左右的優(yōu)化。

?

?

AI技術(shù)能力在今天對(duì)于提升資產(chǎn)利用率、解決不同場(chǎng)景需求具有重要意義。綜合的AI技術(shù)能力主要涉及以下幾方面：

?

• 基礎(chǔ)硬件：用于提供通用的算力以及AI所需要的計(jì)算能力，通過IaaS提供云的能力

• AI云服務(wù)：最基礎(chǔ)的PaaS層，通過容易拉起的軟硬件環(huán)境向絕大多數(shù)用戶提供適合AI的算力

• 高性能計(jì)算：提供核心AI計(jì)算引擎加速

• AI系統(tǒng)框架：提供AI計(jì)算模式的完整抽象以及跨體系結(jié)構(gòu)的建模迭代和部署

• AI托管平臺(tái)：提升算法研發(fā)共享部署和輸出的效率，以及具有用戶粘性的開發(fā)平臺(tái)

?

?

三、智能計(jì)算和數(shù)據(jù)計(jì)算

?

AI是智能計(jì)算，大數(shù)據(jù)領(lǐng)域是數(shù)據(jù)計(jì)算，二者是相輔相成不可或缺的關(guān)系。

?

數(shù)據(jù)支撐AI

?

剛才提到的算法和算力背后需要大量數(shù)據(jù)的支撐，數(shù)據(jù)是體現(xiàn)算法和算力價(jià)值的重要部分。

?

?

下圖分別展示了2005年和2013年教皇登基的場(chǎng)景。當(dāng)前手機(jī)互聯(lián)網(wǎng)的發(fā)展導(dǎo)致了數(shù)據(jù)的指數(shù)型增長，這也可以給深度學(xué)習(xí)帶來性能的提升。

?

?

1998年的一個(gè)小系統(tǒng)MNIST的訓(xùn)練數(shù)據(jù)僅有 10MB，2009年的ImageNet有200G，2017年的WebVision有3TB，而典型的產(chǎn)品視覺系統(tǒng)有1PB。海量的數(shù)據(jù)幫助阿里幾乎線性地提升其性能。

?

?

舉一個(gè)的生活中的場(chǎng)景來說明數(shù)據(jù)量對(duì)于性能的提升作用。在X光片醫(yī)學(xué)識(shí)別領(lǐng)域，有研究顯示，醫(yī)生在X光片上識(shí)別病癥的效果和其所看過的X光片數(shù)量成正比。看的越多，正確率越高。同理，目前的醫(yī)療引擎系統(tǒng)可以通過大規(guī)模的計(jì)算機(jī)系統(tǒng)訓(xùn)練更多的數(shù)據(jù)，實(shí)現(xiàn)更加精準(zhǔn)的醫(yī)療識(shí)別。

?

?

AI驅(qū)動(dòng)大數(shù)據(jù)走向智能化

?

下圖展示了Forum對(duì)大數(shù)據(jù)領(lǐng)域做的趨勢(shì)總結(jié)，當(dāng)前大數(shù)據(jù)領(lǐng)域需要提取更多的信息，要實(shí)現(xiàn)實(shí)時(shí)的計(jì)算，實(shí)現(xiàn)AI平臺(tái)和在線預(yù)測(cè)等，都體現(xiàn)了大數(shù)據(jù)走向智能化的趨勢(shì)。

?

?

多個(gè)數(shù)據(jù)源不同類型的數(shù)據(jù)，如結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，落到數(shù)倉后如何發(fā)揮其價(jià)值，答案是智能計(jì)算。以廣告推薦場(chǎng)景為例，數(shù)據(jù)源是用戶在淘寶上的點(diǎn)擊、瀏覽和購買行為數(shù)據(jù)，通過數(shù)據(jù)集成離線或?qū)崟r(shí)同步、離線或?qū)崟r(shí)ETL的方式將其落到數(shù)倉中，再通過數(shù)倉或數(shù)據(jù)湖的解決方案生成各種數(shù)據(jù)模型對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，最后通過數(shù)據(jù)服務(wù)的方式對(duì)訓(xùn)練結(jié)果進(jìn)行輸出。可以發(fā)現(xiàn)，該過程中對(duì)于數(shù)據(jù)的理解和使用方式開始變得智能化。

?

?

幾年前的HTAP，包括OLTP和OLAP兩部分，OLAP可以進(jìn)一步分解為大數(shù)據(jù)的分析，離線、實(shí)時(shí)分析，基于數(shù)據(jù)量的不同選擇不同的引擎。而目前數(shù)據(jù)服務(wù)也變得越來越重要，在一些智能客服場(chǎng)景中，需要依賴數(shù)據(jù)提煉模型，來做實(shí)時(shí)人工智能推理服務(wù)和應(yīng)用，因此如何把a(bǔ)nalytics和service結(jié)合也很關(guān)鍵。這也是現(xiàn)在考慮在做的HSAP，通過人工智能驅(qū)動(dòng)離線、實(shí)時(shí)數(shù)倉數(shù)據(jù)價(jià)值提取，通過數(shù)據(jù)服務(wù)推送給用戶。

?

?

阿里在自己本身的應(yīng)用中沉淀出了AI加持的大數(shù)據(jù)方法論和解決方案，在雙十一大促中的離線計(jì)算（批處理）、實(shí)時(shí)計(jì)算（流計(jì)算）、交互式分析和圖計(jì)算等場(chǎng)景，和飛天AI平臺(tái)相結(jié)合，為用戶提供了AI加持的完整的新一代飛天大數(shù)據(jù)產(chǎn)品。

?

?

大數(shù)據(jù)和AI一樣，也非常注重性能。2019年阿里云大數(shù)據(jù)平臺(tái)MaxCompute和EMR分別在TPC上的計(jì)算性能和性價(jià)比優(yōu)勢(shì)明顯。具體測(cè)試結(jié)果如下圖所示。

?

?

阿里的阿里小蜜目前為用戶提供了智能化的的語音客服交互方式，其應(yīng)用了深度學(xué)習(xí)和智能感知的AI技術(shù)，同時(shí)需要和背后的大數(shù)據(jù)業(yè)務(wù)系統(tǒng)緊密聯(lián)系，如物流、用戶數(shù)據(jù)等，才能實(shí)現(xiàn)最后的智能化效果。

?

?

那么作為一個(gè)企業(yè)應(yīng)該如何擁抱AI呢。簡單來講，人工智能需要落地，應(yīng)該從應(yīng)用需求出發(fā)，逐漸追求技術(shù)創(chuàng)新，就像愛迪生發(fā)明電燈一樣。通過云提供低成本、到高性能和高穩(wěn)定性的基礎(chǔ)設(shè)施，但關(guān)鍵應(yīng)該明確需求是什么。

?

前面幾年，AI一直在做算法的創(chuàng)新，做Demo，但這是遠(yuǎn)遠(yuǎn)不夠的。

?

AI算法只是系統(tǒng)中的一環(huán)，怎樣收集數(shù)據(jù)，獲取有用特征，怎樣進(jìn)行驗(yàn)證，怎樣進(jìn)行過程管理、資源管理等等，都是企業(yè)在擁抱AI需要考慮的問題。

?

AI不是萬能的，但是忽略AI是萬萬不能的。當(dāng)企業(yè)擁抱AI的時(shí)候，最重要的還是從業(yè)務(wù)出發(fā)。隨著數(shù)據(jù)量越來越大，算法越來越多，核心是需要建立懂業(yè)務(wù)的數(shù)據(jù)工程師、算法工程師的隊(duì)伍，這是當(dāng)前智能化企業(yè)致勝的關(guān)鍵。而前面提到的算法、算力和數(shù)據(jù)，都可以利用目前云上提供的服務(wù)和解決方案來實(shí)現(xiàn)，其可以幫助企業(yè)更快速的實(shí)現(xiàn)AI的落地。

總結(jié)

以上是生活随笔為你收集整理的贾扬清：如何看待人工智能方向的重要问题？【相辅相成不可或缺的两位“大数据和AI”】的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。