本文出自于論文Edge Intelligence: On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy ，主要介紹了一種移動設備與邊緣協同作用的DNN協同推理框架。

文章目錄

• • 一、簡介和相關工作
  • 二、背景及研究動機
  • 三、框架
  • 四、實驗評估
  • 五、結論

一、簡介和相關工作

在資源受限的移動設備上運行DNN會帶來高能耗，而將DNNs卸載到云上執行時，由于無法控制長時間廣域網延遲，其性能也難以預測。為了解決這些挑戰，在本文中我們提出來Edgent，一個協同和按需的DNN協同推理框架，它將設備與邊緣協同作用。Edgent包含兩個關鍵點：（1）自適應地將DNN計算劃分在設備和邊緣之間的DNN分區，利用相鄰的混合計算資源進行實時的DNN推理；（2）通過在適當的中間DNN層提前退出來加速DNN推理，從而進一步降低計算延遲。

DNN處理的傳統方式是將移動設備生成的輸入數據發送到云端進行處理，推理后將結果發送回移動設備。然而以云端為中心的方案，大量數據需要借助長時間的廣域網數據傳輸來上傳到云，導致高度端到端延遲和移動設備能耗。為了減輕以云為中心方法的延遲和能量瓶頸，一個更好的方案是利用新型的邊緣計算范式，邊緣計算支持低延遲和高效的DNN推理。

Edgent進一步結合了DNN分區和DNN的正確規模，通過在中間DNN層的早期退出來加速DNN推理。但是早期退出會導致部分精度損失，因此Edgent通過隨需應變的方式聯合優化DNN分區和正確規模。

我們采取一種向外擴展的方案，來釋放邊緣和移動設備之間的協作優勢智能，從而緩解終端設備的性能和能量瓶頸。在另一方面，DNN分區不足以滿足關鍵任務應用程序的嚴格及時性要求。因此，我們進一步應用了DNN的大小調整方法來加速DNN推理。

---

二、背景及研究動機

DNN劃分：將DNN劃分成兩部分，然后以較低的傳輸開銷將計算密集型的一部分轉移到服務器，于是減少了端到端延遲。通過在設備和邊緣之間的DNN劃分，我們能夠協作混合計算資源在靠近低延遲的DNN推理。

DNN正確大小：為了進一步降低延遲，我們可以將DNN正確調整大小的方法與DNN劃分相結合。DNN的適當大小可以通過提前退出機制來加速模型推理。直觀來說，DNN的適當調整進一步減少了DNN推理任務所需的計算量。

問題描述：給定預定義的和嚴格的延遲目標，我們在不違背截止日期要求的前提下要最大化精度。本文要解決的問題可以概括如下：給定一個預定義的延遲要求，為了最大化DNN推理精度，應當如何聯合優化DNN劃分和正確大小的決定。

---

三、框架

Edgent的初步設計：一個框架可以自動地和智能地選擇一個DNN模型的最佳劃分點和退出點來使精度最大化，同時滿足執行延遲的要求。Edgent由三個階段組成：離線訓練階段，在線優化階段和協作推理階段。在離線訓練階段，Edgent執行兩個初始化：（1）分析移動設備和邊緣服務器來生成對不同類型DNN層的基于回歸的性能預測模型；（2）使用BrachyNet來訓練帶有不同退出點的DNN模型，使部分樣本可以提前退出。在在線優化階段，DNN優化器選擇DNNs的最佳劃分點和早期退出點，從而使精度最大化，同時在端到端延遲上提供性能保證。在協作推理階段，根據劃分和早期退出安排，邊緣服務器將在劃分點和其余將在移動設備上運行前執行網絡層。

層延遲預測：在估計DNN的運行時，Edgent對每層的延遲進行建模，而不是在整個DNN的粒度上建模，這極大減小了分析開銷。基于每層的以上輸入，我們建立了一個回歸模型來預測基于分析的每層延遲。

DNN劃分和正確大小的聯合優化：在在線優化階段，DNN優化器收到了來自移動設備的延遲需求，然后尋找訓練過的branchynet模型的最佳出口點和劃分點。

Edgent構建算法描述：

---

四、實驗評估

當最佳劃分點可能變化時，我們可以看到最佳退出點隨著帶寬提升也在變得更高，這意味著更高的帶寬會帶來更高的精度。

當帶寬增加時，模型的運行時間首先會大幅下降然后會突然上升。這表明我們提出的基于回歸的延遲方案可以很好地預估實際的DNN模型運行時延遲。

隨著延遲需求的增加，最佳退出點會變得更高，這意味著一個較大的延遲目標給予精度提升更大的空間。

---

五、結論

在這項工作中，我們提出來Edgent，一個協作和隨需應變的基于設備-邊緣協同的DNN協同推理框架。針對低延遲邊緣智能，Edgent引入了兩個設計關鍵點來調整DNN模型的延遲：（1）DNN分區支持邊緣和移動設備之間的協作；（2）DNN正確大小決定了DNN的計算要求。

總結

以上是生活随笔為你收集整理的Edgent：移动设备与边缘的协同推理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。