簡介：?阿里云邊緣計(jì)算團(tuán)隊(duì)付哲解讀5G下熱門場景：邊緣AI。作者：阿里云付哲，計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)博士后，在流量檢測、資源調(diào)度領(lǐng)域有深入研究，其論文《Astraea: Deploy AI Services at the Edge in Elegant Ways》曾入選2020年IEEE邊緣計(jì)算國際會(huì)議（IEEE International Conference on Edge Computing）。目前在阿里云邊緣計(jì)算團(tuán)隊(duì)從事邊緣云資源調(diào)度和創(chuàng)新應(yīng)用方面的研究。

5G關(guān)鍵能力

近年來，5G已成為各國戰(zhàn)略競爭制高點(diǎn)和未來社會(huì)發(fā)展、信息化的關(guān)鍵技術(shù)。目前，各國紛紛加快5G戰(zhàn)略和政策布局。2019年工業(yè)和信息化部正式向中國電信、中國移動(dòng)、中國聯(lián)通、中國廣電發(fā)放5G商用牌照，中國正式進(jìn)入5G商用元年，這比原計(jì)劃商用提前了一年。最新報(bào)告顯示，截至2020年12月，我國三大運(yùn)營商5G用戶已經(jīng)超過了2.5億。隨著5G技術(shù)和商業(yè)化的不斷普及，5G正滲透到社會(huì)生活每個(gè)角落。

圖1 5G之花-5G關(guān)鍵能力

目前對(duì)5G的認(rèn)知，關(guān)注的焦點(diǎn)是極致的速度。但對(duì)于5G更多能力的愿景，現(xiàn)階段涉及還比較少。移動(dòng)通信專家在5G標(biāo)準(zhǔn)設(shè)立之初，為了形象地描述5G關(guān)鍵能力，畫出了一朵“5G之花”[1]，花朵的每一瓣都表示一種核心技術(shù)能力，如圖1所示。

在5G的場景中，不僅是道路速度快了10倍，道路寬了100倍，道路承載的流量、移動(dòng)性、各種效率等指標(biāo)也均有明顯的提升。很多人都存在一個(gè)疑問，這些嚴(yán)苛的能力真的能實(shí)現(xiàn)嗎？例如端到端1毫秒的時(shí)延，5G通信怎么可能時(shí)延比固網(wǎng)通信還要低？這里需要澄清一下，5G毫秒級(jí)的時(shí)延指的不是遠(yuǎn)距離傳輸?shù)臅r(shí)延。以光速計(jì)算，1毫秒時(shí)間信息也只能傳遞300000*1/1000=300公里的距離。無論是5G，還是6G、7G，也是無法突破這一物理定律的。而通過5G網(wǎng)絡(luò)定制的低時(shí)延切片以及多接入邊緣計(jì)算等技術(shù)，將核心網(wǎng)等下沉到市、縣、鄉(xiāng)等離終端用戶百公里級(jí)的范圍之內(nèi)，毫秒級(jí)時(shí)延也并不完全是一句空談。

多接入邊緣計(jì)算（MEC）

多接入邊緣計(jì)算（Multi-access Edge Computing）的概念最早提出于2009年卡耐基梅隆大學(xué)所研發(fā)的cloudlet計(jì)算平臺(tái)，并逐漸被世界各個(gè)標(biāo)準(zhǔn)協(xié)會(huì)納入通信標(biāo)準(zhǔn)，發(fā)展演進(jìn)成為5G移動(dòng)通信技術(shù)系統(tǒng)的重要技術(shù)之一。
為了避免技術(shù)敘述上的枯燥，先舉一個(gè)通俗的例子。假設(shè)我們有兩個(gè)快遞件要發(fā)，一個(gè)是從深圳發(fā)往北京，一個(gè)是從深圳福田區(qū)發(fā)往同城的寶安區(qū)。第一個(gè)快遞會(huì)先從深圳發(fā)往某地的快遞集散中心（例如鄭州集散中心），然后再發(fā)往北京，最終通過逐級(jí)快遞點(diǎn)送到用戶手中，這種方式是沒有問題的。但是如果按此方式運(yùn)送第二個(gè)快遞，那么第二個(gè)快遞也會(huì)先從福田區(qū)發(fā)往鄭州集散中心，然后再返回寶安區(qū)，最終送到用戶手中。

圖2 5G與MEC

大家一定會(huì)覺得這種方式瘋了，同市的快遞為什么不直接在市內(nèi)調(diào)度就好，而要先運(yùn)送到千里之外的集散中心？現(xiàn)實(shí)很殘酷，5G之前的網(wǎng)絡(luò)（包括5G非獨(dú)立組網(wǎng)），數(shù)據(jù)基本上都是按照接入網(wǎng)->承載網(wǎng)->核心網(wǎng)的處理方式，最后再由核心網(wǎng)決定怎么去調(diào)度和處理。即使是同一個(gè)城市、同一個(gè)基站下的兩個(gè)終端間的通信，還是得先上報(bào)到核心網(wǎng)處理再回來。這一去一回，用戶感知的時(shí)延明顯增大了。而MEC技術(shù)，可以將計(jì)算能力下沉到基站側(cè)，終端用戶的業(yè)務(wù)請(qǐng)求可以調(diào)用就近的算力解決，而不用一層層上報(bào)至核心計(jì)算中心，再下發(fā)處理，從而能夠降低網(wǎng)絡(luò)傳輸時(shí)延，并且減少涌入中心云的網(wǎng)絡(luò)流量。

基于MEC的邊緣AI服務(wù)

5G普及之后，大部分的計(jì)算交互都可以直接在MEC節(jié)點(diǎn)處進(jìn)行處理，由于節(jié)省了承載網(wǎng)、核心網(wǎng)的介入，大大降低了網(wǎng)絡(luò)時(shí)延，同時(shí)節(jié)省了網(wǎng)絡(luò)帶寬資源。高清視頻、VR/AR、云游戲等應(yīng)用預(yù)計(jì)將會(huì)隨著5G的普及迎來下一波爆發(fā)。本文將會(huì)介紹5G場景下的熱點(diǎn)應(yīng)用之一：邊緣AI服務(wù)。

站在用戶的角度，AI服務(wù)（尤其是推理階段）通常可分為在端側(cè)或者在云側(cè)執(zhí)行。手機(jī)等終端設(shè)備的計(jì)算能力逐漸增強(qiáng)，使得一些簡單的AI模型跑在終端上成為了可能。然而，終端設(shè)備有限的功耗是始終無法忽略的問題，不少運(yùn)行在終端上的AI模型往往會(huì)遇到發(fā)熱、降頻、耗電過快的問題；此外，數(shù)量更大的其他終端設(shè)備，例如攝像頭、傳感器以及其他IoT設(shè)備，其受限的計(jì)算資源使得他們難以運(yùn)行常見的端側(cè)AI模型。另一方面，云側(cè)雖然算力強(qiáng)大，但是由于其執(zhí)行的AI模型由于離端側(cè)更遠(yuǎn)，時(shí)延無法得到保證；即使對(duì)時(shí)延并不敏感，在萬物互聯(lián)場景下如果海量端側(cè)設(shè)備都依賴云中心的AI服務(wù)的話，它們的帶寬流量會(huì)對(duì)現(xiàn)有網(wǎng)絡(luò)帶來不小的沖擊。

為了解決這一困境，基于MEC的邊緣AI服務(wù)應(yīng)運(yùn)而生。MEC節(jié)點(diǎn)的計(jì)算能力雖然比不上中心云，但是相較于終端設(shè)備還是要高不少的，部分MEC節(jié)點(diǎn)也包含GPU、FPGA等計(jì)算加速硬件。卸載到邊緣節(jié)點(diǎn)的AI服務(wù)不僅僅能夠節(jié)省終端到云中心的通信成本，而且能夠提供低至毫秒級(jí)的網(wǎng)絡(luò)通信時(shí)延。

計(jì)算卸載是邊緣計(jì)算的主要功能之一，為簡化這一場景，我們僅以單任務(wù)決策為例進(jìn)行建模分析。對(duì)于終端用戶來說，如果滿足以下條件（1），那么將AI計(jì)算從端設(shè)備卸載到邊緣執(zhí)行，在任務(wù)完成時(shí)延上有明顯體驗(yàn)上的提升的。

C / Pd > C / Pe + D / Bc (1)

類似地，當(dāng)條件（2）滿足時(shí)，將AI計(jì)算任務(wù)從端設(shè)備卸載到邊緣執(zhí)行，可以降低計(jì)算能耗。

C × Ed / Pd > C × Ee / Pe + D × Ec / Bc (2)

以上公式中各參數(shù)含義如下：
Pd: 端設(shè)備處理速度
Pe: 邊緣云服務(wù)器處理速度
C: 計(jì)算任務(wù)量
D：需要傳輸?shù)娜蝿?wù)大小
Bc: 端設(shè)備到邊緣節(jié)點(diǎn)的帶寬大小
Ed: 端設(shè)備處理功耗
Ee: 邊緣云服務(wù)器處理功耗
Ec: 端設(shè)備到邊緣節(jié)點(diǎn)的通信功耗

邊緣AI部署項(xiàng)目Astraea

人工智能模型的開發(fā)人員和數(shù)據(jù)科學(xué)家通常不知道或不太關(guān)心他們的模型在生產(chǎn)環(huán)境中是如何服務(wù)的。例如，在邊緣部署模型時(shí)，必須考慮到不同框架的AI模型需要不同的部署方式，同時(shí)也需要一個(gè)API服務(wù)器將AI模型對(duì)外提供給終端用戶。此外，邊緣人工智能服務(wù)還需要全生命周期管理的能力，包括版本升級(jí)、灰度發(fā)布、自動(dòng)縮放等，以及靈活的調(diào)度能力，以優(yōu)化用戶體驗(yàn)、計(jì)算成本和流量成本之間的權(quán)衡。
為此，阿里云邊緣計(jì)算團(tuán)隊(duì)提出了Astraea[2] — 一個(gè)適用于邊緣計(jì)算場景的新型AI服務(wù)部署平臺(tái)，它簡化了部署階段，同時(shí)充分利用了邊緣計(jì)算的優(yōu)勢(shì)。通過邊緣AI部署項(xiàng)目Astraea，模型開發(fā)者能夠自動(dòng)化地完成AI服務(wù)在MEC等邊緣節(jié)點(diǎn)的部署，并將AI服務(wù)的推理過程轉(zhuǎn)化為Restful API接口，供終端設(shè)備調(diào)用，使得終端設(shè)備能夠充分利用5G/MEC帶來的技術(shù)紅利。

圖3 Astraea 總體架構(gòu)

Astraea具有以下優(yōu)點(diǎn)。首先，Astraea的用戶只需要提交不到10行的模板配置，Astraea能夠在1分鐘時(shí)間內(nèi)構(gòu)建映像，在5分鐘時(shí)間內(nèi)完成服務(wù)邊緣部署。其次，Astraea支持Scikit learn、TensorFlow、Pythorch、ONNX等多個(gè)人工智能框架，可以一鍵化為AI服務(wù)自動(dòng)生成Restful API。借助Astraea以及阿里云邊緣節(jié)點(diǎn)服務(wù)，AI服務(wù)可以下沉到距離用戶10公里的范圍內(nèi)。同時(shí)，Astraea基于阿里云邊緣節(jié)點(diǎn)服務(wù)能力實(shí)現(xiàn)運(yùn)維自動(dòng)化。

Astraea可以基于邊緣節(jié)點(diǎn)服務(wù)平臺(tái)實(shí)現(xiàn)以下能力：
鏡像倉庫：作為邊緣AI鏡像的儲(chǔ)存?zhèn)}庫，并提供鏡像分發(fā)加速能力
應(yīng)用發(fā)布：提供邊緣AI服務(wù)的一鍵部署和灰度發(fā)布功能
監(jiān)測運(yùn)維：負(fù)責(zé)邊緣AI容器狀態(tài)監(jiān)測和相關(guān)日志服務(wù)

圖4 Astraea AI模型封裝

實(shí)時(shí)車牌識(shí)別DEMO

為了驗(yàn)證基于MEC的AI服務(wù)的技術(shù)能力，以下基于Astraea實(shí)現(xiàn)了一個(gè)簡單的車牌識(shí)別（License Plate Reader）服務(wù)示例。實(shí)驗(yàn)中使用了Raspberry Pi 4模擬終端攝像頭設(shè)備。由于目前Raspberry Pi沒有5G通信模塊，因此實(shí)驗(yàn)中額外購置了5G WiFi將5G信號(hào)轉(zhuǎn)化為可供Raspberry Pi連接的WiFi信號(hào)，用于模擬5G通信鏈路。

圖5 原型驗(yàn)證中使用的實(shí)驗(yàn)硬件

由于Raspberry Pi采用的是ARM架構(gòu)CPU，算力較弱，實(shí)測在Raspberry上直接執(zhí)行車牌檢測的程序，采用預(yù)訓(xùn)練好的模型，需要大概13s的時(shí)間才能識(shí)別出一張圖片中的車牌數(shù)字及其位置。顯然，想利用Raspberry Pi本身實(shí)現(xiàn)實(shí)時(shí)的車牌識(shí)別是不可能的。

下面，我們將車牌識(shí)別這一AI服務(wù)部署至邊緣節(jié)點(diǎn)。在項(xiàng)目目錄執(zhí)行:

astraea build

該步驟將車牌識(shí)別的AI模型打包成AI服務(wù)鏡像，按照用戶定義的配置文件暴露出API接口，并推送到到邊緣節(jié)點(diǎn)的鏡像倉庫中。

接下來，執(zhí)行：

astraea deploy

該步驟中，Astraea根據(jù)配置文件中指定的調(diào)度域、規(guī)格和數(shù)量信息將AI服務(wù)調(diào)度到指定的節(jié)點(diǎn)。例如，可以將服務(wù)部署到了位于上海寶山區(qū)的邊緣節(jié)點(diǎn)，能夠?yàn)樯虾毶絽^(qū)的用戶提供就近訪問的低時(shí)延車牌識(shí)別能力。

Astraea能夠按照模板定義好的模型調(diào)用方法自動(dòng)生成Restful API，返回服務(wù)IP地址以及端口號(hào)，提供接口供用戶調(diào)用。本示例中，直接調(diào)用以下接口，就能獲得車牌識(shí)別的結(jié)果。

curl -g http://IP:port/predict -d 'json={"jsonData": "img_base64"}'

被調(diào)用后，API會(huì)返回車牌號(hào)識(shí)別結(jié)果，包括車牌字符串、位置以及置信概率）。該服務(wù)同時(shí)支持多車牌識(shí)別，如果一張圖片里有多個(gè)車牌，那么結(jié)果將以json數(shù)組形式返回。一個(gè)API返回示例如下：

{"code": 0,"request_id": "xxx-xxx-xxx","data": {"msg": {},"ndarray": [{"confidence": 0.8996933911527906,"rect": [120.92, 103.3, 73.57536804199219, 23.4],"res": "\u9c81A88888"}]}, }

此外，Astraea還提供了基本的監(jiān)控功能，訪問以下接口，能獲得諸如QPM、平均推理耗時(shí)、模型調(diào)用次數(shù)等統(tǒng)計(jì)信息。

curl -g http://IP:port/monitor

返回值如下：

{"AvgQPM":33.35,"AvgReqTime":"0.009s","Counter":3022}

該返回值表示該AI服務(wù)平均每分鐘被調(diào)用33.35次，平均處理時(shí)延為9ms，一共被調(diào)用了3022次。

將Astraea自動(dòng)生成的API接口進(jìn)一步封裝，就能夠?qū)崿F(xiàn)可視化、以及實(shí)時(shí)的車牌識(shí)別。例如，下圖是基于Raspberry Pi 4的實(shí)時(shí)車牌識(shí)別結(jié)果。可以看到，基于部署在邊緣節(jié)點(diǎn)邊緣車牌識(shí)別服務(wù)，算力較弱的終端設(shè)備（例如Raspberry Pi、老舊攝像頭等）也能實(shí)現(xiàn)強(qiáng)大而又低時(shí)延的AI處理能力。

圖6 基于Astraea的實(shí)時(shí)車牌識(shí)別服務(wù)

總結(jié)

基于MEC等邊緣云基礎(chǔ)設(shè)施的能力，AI及其他計(jì)算任務(wù)可以卸載到離用戶最近的計(jì)算節(jié)點(diǎn)執(zhí)行，在處理時(shí)延、處理功耗、網(wǎng)絡(luò)帶寬等方面達(dá)到較優(yōu)的權(quán)衡。通過Astraea，模型開發(fā)者能將已有模型一鍵部署到指定的MEC等邊緣云節(jié)點(diǎn)，提供易部署和低時(shí)延AI服務(wù)能力。Astraea的愿景是希望在5G時(shí)代，AI服務(wù)在邊緣的部署與運(yùn)維就像如今使用CDN分發(fā)圖片和視頻一樣簡單。

作者：阿里云付哲，計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)博士后，在流量檢測、資源調(diào)度領(lǐng)域有深入研究，其論文《Astraea: Deploy AI Services at the Edge in Elegant Ways》曾入選2020年IEEE邊緣計(jì)算國際會(huì)議（IEEE International Conference on Edge Computing）。目前在阿里云邊緣計(jì)算團(tuán)隊(duì)從事邊緣云資源調(diào)度和創(chuàng)新應(yīng)用方面的研究。

原文鏈接

本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載

?

總結(jié)

以上是生活随笔為你收集整理的E百科 | 基于MEC的边缘AI服务的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。