作者丨王曲苑

學校丨西南大學博士生

研究方向丨人工智能、邊緣計算

邊緣計算和人工智能是當今業界和學術環境中都頻頻提到的兩個詞語，也是如日中天的兩個方向。正如“I?have a pen, I have an ?apple, ah, Apple pen"一樣，邊緣智能應運而生。誠如 Gartner 2018 技術曲線表現出來的那樣，Edge AI 還處于絕對的爬坡階段。但是在邊緣智能中，我們更側重于誰呢？到底是邊緣借位智能，還是智能借位邊緣？

相比于人工智能來說，邊緣計算似乎稍微小眾了些。在這里，先向大家簡單介紹一下什么是邊緣計算。邊緣計算的概念是由云計算-移動云計算逐步衍生而來的，所謂邊緣計算就是我們可以將手頭需要處理的任務卸載到周邊距離不太遠的邊緣云上尋求他人幫助， 以獲得更好的用戶體驗（比如，處理延時更短、自身消耗能量更少等等）。
所謂邊緣云，往宏觀說可以是帶有計算能力的任何可接入點，而一般來說我們認為能夠作為邊緣云的是資源相對富足、能力相對突出的附近設備（如，他人的手機、樓宇服務器等）。

為了弄清楚邊緣計算和人工智能的“借位關系”，我們還是要從二者是如何結合起來來分析。通過閱讀一系列邊緣智能的學術論文， 作者以為目前學術環境下的邊緣與智能結合主要是兩個方面：?

1. 將邊緣計算的思想應用在人工智能領域，試圖打造真正親民的AI系統，讓煉丹不再是孤獨的 GPU 游戲；?

2. 將人工智能方法應用在邊緣計算領域，利用人工智能算法參與邊緣計算調度、緩存、通信等過程，讓邊緣端更智能地計算；?

總的來說，前者使得人工智能“落地”，后者使得邊緣端智能。因此在本文中我們將主要以兩篇學術文章為例，分別從以上兩個角度去解析和探索當前邊緣智能方向的發展。?
邊緣智能：端邊結合的按需深度學習模型和協同推理

引言

論文鏈接：https://arxiv.org/pdf/1806.07840v1.pdf
這篇文章是中山大學數據科學與計算機學院的陳旭教授團隊發表的?Edge Intelligence: On-Demand Deep Learning Model Co Inference with Device-Edge Synergy，本文以深度神經網絡（DNN）為例，主要描述了如何將學習模型部署在資源受限的邊緣 端的兩種方法：模型切分（DNN partitioning）和模型精簡（DNN Right-Sizing）。?

模型切分?

作者給我們展示了在樹莓派運行的每層運行時間和輸出數據量，面對每層不同的運行時間和數據輸出量，結合邊緣計算思想，最直 觀最暴力的想法就是把費時的計算密集型層通過網絡卸載到計算能力稍大的服務器，以較少的通信開銷換取邊緣端的處理延遲。在圖示這種情況下，作者以 lrn_2 作為切分點，將其之前的層卸載到邊緣服務器，而其余層在設備端執行。?

模型精簡

雖然模型切分可以有效地減少整個模型的訓練延遲，但是由于端設備的處理能力有限，模型切分后的模型訓練延遲仍然取決于本地運行層的延遲。因此作者進一步提出了模型精簡機制。
針對同一個深度神經網絡，作者設計了多個訓練退出點，分別對應不同的網絡大小，根據具體應用的需求選擇不同的退出點以減少計算負擔從而減少總延遲。但是“早退”點的設計帶來的可能是精確度的降低，所以這種方法是以可忍受的精確度降低換取總訓練時延。?

問題刻畫

根據以上兩方面的描述，作者認為可以根據不同應用需求，以按需索取的方式在延遲和準確性之間做均衡，因此，這篇文章主要解決的問題是：在給定延遲約束的情況下，如何聯合優化模型切分與模型精簡以最大化推斷準確度。?

框架

作者提出了一種名為 Edgent 的在滿足時間約束下自動選擇最優分割點和退出點以最大化推斷準確度的端邊按需協同推理框架。?如圖所示，該框架分為離線訓練、在線優化和協同推理三個階段。

離線訓練

在離線訓練階段，該系統需要執行兩個初始化：1）根據移動設備和邊緣服務器特性對不同類型的 DNN 層（卷積、池化等）生成基于回歸的性能預測模型；2）使用 Branchynet 訓練具備多個退出點的 DNN 模型；?在對不同 DNN 層進行性能預測時，Edgent 以層為單位而不是以整個 DNN 網絡為單位對每層產生延遲進行建模，作者觀察到不同層所產生的延遲由各種獨立變量確定，如表 1 所示。
除此之外，作者發現 DNN 模型大小對模型加載延遲也有一定的影響。基于以上輸入，作者建立了回歸模型來預測基于特征的不同層的延遲，如表 2 所示。?

在線優化

在這一階段 DNN 優化器在保證端對端延遲約束的情況下選擇最優分割點和退出點以最大化準確性。?在這一階段，主要看重以下三個輸入：1）上一階段的預測模型和不同大小的 DNN 模型；2）邊緣設備和服務器之間的可用帶寬；3）預先設定的延遲要求。作者給出了聯合優化模型分割和模型精簡的算法，算法本質很簡單，就是找到某一個點，使得總時間最小。算法見圖。?

協同推理

根據在線優化階段得到的最優分割點和退出點對整個神經網絡進行劃分，并按規則執行。?

實驗

作者以一臺普通的 4 核電腦作為邊緣服務器，以樹莓派作為邊緣手機，作者探究了不同帶寬限制和不同延遲要求下所提機制的不同結果。?

作者還展示了在相對較差的網絡條件下（400kbps），?種不同的推理模型在不同延遲約束下的性能表現。可見相比于其他模型，作者 提出的 Edgent 的包容性更高，在準確度上也有不錯的表現，

結論

這篇文章就是將邊緣計算思想用于人工智能的典型例子，通過對深度神經網絡的層進行適當地劃分和精簡，使得在資源受限的邊緣端也能完成一定的人工智能推理任務，同時還保證了較好的準確率和低延遲。?
智能賦邊：通過聯邦學習賦能移動邊緣計算、緩存和通信

引言

論文鏈接：https://arxiv.org/pdf/1806.07840v1.pdf
這篇文章是天津大學計算機科學與技術學院的王曉飛教授團隊發表的?In-Edge AI:?Intelligentizing Mobile Edge Computing, Caching and Communication by Federated Learning，本文受當前深度學習技術驅動，為了給邊緣帶來更多智能，提出將深度強化學習技術和聯邦學習框架與移動邊緣系統相結合，以優化移動邊緣計算、緩存和通信。?

目前有許多學者針對邊緣計算系統計算、緩存和通信等方面的優化問題展開研究，但是目前的研究面臨以下三方面挑戰：?

1. 不確定輸入。?在以往的研究中，作者往往對某些關鍵變量、關鍵信息進行假設，然后作為系統輸入給出，但是實際上其中許多變 量和信息由于無線信道的變化和隱私政策等無法獲取；

2. 動態變化。?移動邊緣計算的特性決定了網絡拓撲、信道條件、用戶位置等諸多因素很可能是動態變化的，這在以往的優化方法中很難解決。

3. 時間隔離。?現有大多數優化算法僅僅考慮當前狀態是最優或者近似優的，而不考慮當前決策對資源分配的長期影響。

總之，目前移動邊緣計算系統資源配置優化中存在的主要問題是缺乏智能。?

在這篇文章中，作者考慮了計算卸載和邊緣緩存兩種情況，利用深度強化學習技術來管理通信和計算資源。此外，引入用于分布式訓練 DRL 智能體的聯邦學習機制以達到以下四點目的：??

1. 大幅度減少通過上行鏈路上傳的數據量；?2. 動態認知響應移動通信環境和蜂窩網絡狀況；?3. 在實際網絡拓撲中更好地適應異構用戶設備；?4. 保護個人數據隱私。?

利用深度強化學習優化邊緣

作者利用深度強化學習技術作為認知計算的方法以構建智能化的移動邊緣計算、緩存和通信系統。整個過程被分為三個主要部分：?信息收集、認知計算和請求處理。?

1. 信息收集：感知和收集移動邊緣系統中認知計算必不可少的觀測數據，包括但不限于通信和計算資源的使用、無線環境的變化和用戶設備的請求強度。?

2. 認知計算：對大量觀測數據進行認知計算并給出調度策略。?

3. 請求處理：移動邊緣系統基于認知計算給出的調度策略處理用戶設備請求。?

利用聯邦學習賦能邊緣

當我們選擇用深度強化學習技術來優化邊緣時會遇到一個棘手的問題：在哪里訓練這些 DRL 智能體？倘若將 DRL 智能體全部放在本地訓練，則會為本地設備帶來巨大的能量消耗和延遲開銷，若全部放在云端或邊緣端訓練，那么無疑增加了上行鏈路的負擔，此外還要擔心所傳輸數據的隱私安全。?

因此我們自然想到應用分布式深度強化學習技術來應對以上問題，但是當用戶設備異構且網絡環境動態變化時，這樣的方法通常會降低 DRL 智能體的性能。作者引入了聯邦學習來解決以下四個問題：?

1. 用戶非獨立同分布。用戶設備上的訓練數據是根據其無線環境和自身計算能力、能量消耗等參數得到的。因此任何單獨的訓練數據都不能代表所有用戶的訓練數據。

2. 有限通信資源。用戶常常無法預測什么時候離線或被分配?劣質信道。在聯邦學習機制中，每一輪僅僅要求一部分用戶上傳更新。?

3. 不平衡。一部分用戶可能擁有更多需要處理的任務，經歷更復雜的網絡情況。?

4. 隱私安全。聯邦學習中需要上傳的信息是所需的最小更新，并且可以利用差分隱私等技術避免在更新中出現敏感數據。?

在基于聯邦學習的深度強化學習訓練過程中，為了訓練一般的深度學習模型，聯邦學習迭代地請求隨機客戶端（訓練深度學習模型的分布式設備），從某個服務器上下載深度學習模型參數，在下載的模型上執行自身數據的訓練過程，然后將新模型參數上傳?服務器，匯總更新進一步完善模型。對于每個客戶端而言可以從中央副武器下載模型，并在訓練自身模型后向服務器更新權重。
總之，聯邦學習使得用戶設備和邊緣節點學習共享模型，但是同時保持了訓練數據的本地化。?聯邦學習雖不能優于集中式的訓練模型，但也可以達到近似優的結果。?

數據驅動的驗證實驗

作者利用了含有 9514 個移動用戶、188447 個內容文件、2107100 條內容請求的真實數據集對所提框架進行了驗證。實驗證明，從效果上來說，所提出的基于聯邦學習的方式很大程度逼近了集中式的效果，在傳輸開銷方面，應用了聯邦學習的機制也明顯減少了傳輸開銷。

結論

這篇文章是典型的將人工智能中的技術用于解決邊緣計算所面臨的問題，使得邊緣計算中的任務調度、資源分配和內容緩存等問題得到解決。

從以上兩篇文章可以看出，關于邊緣和智能的結合可謂是眾說紛紜，大家從不同角度出發，目前仍處于“言之有理即可”的階段。本文所提及的兩篇文章都是提出了系統性的架構，并沒有詳細的理論推導。還有許多文章從純理論技術的角度將人工智能算法應用到了邊緣計算場景中，我們有機會后面再談。?

點擊以下標題查看更多往期內容：?

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 獲取最新論文推薦

總結

以上是生活随笔為你收集整理的边缘和智能，是谁在借谁上位？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。