背景

超分（Super-Resolution），本文簡(jiǎn)稱為SR，指的是通過深度學(xué)習(xí)模型讓低分辨率的圖像變成高分辨率。超分這個(gè)概念其實(shí)由來已久，今天主要介紹下端側(cè)超分，重點(diǎn)講的是手機(jī)端的超分。主要是參考了《MobiSR: Efficient On-Device Super-Resolution through Heterogeneous Mobile Processors》這篇文章。

超分模型的理論基礎(chǔ)，這件事為什么能做其實(shí)很關(guān)鍵。CNN模型如下圖可以構(gòu)建出一套數(shù)學(xué)模型，使得在以PSNR、SSIM等指標(biāo)作為評(píng)估的時(shí)候，構(gòu)建出輸入低分辨率圖片并產(chǎn)出高分辨率圖片的一個(gè)通路，這使得超分這個(gè)概念在邏輯上是成立的。

端側(cè)部署模型的收益

既然SR可以做成一個(gè)模型的預(yù)測(cè)過程，一定是受限于計(jì)算資源的，為什么一定要做到端側(cè)。

收益主要是幾點(diǎn)：

• 1.時(shí)延性，端側(cè)時(shí)延會(huì)很低，近乎于0
• 2.數(shù)據(jù)隱私性，應(yīng)用不用把數(shù)據(jù)上傳到服務(wù)器，而直接在端側(cè)做預(yù)測(cè)
• 3.計(jì)算資源的節(jié)約，把云端服務(wù)器的成本轉(zhuǎn)嫁到計(jì)算力越來越突出的手機(jī)端

在端側(cè)部署模型，主要解決的問題有兩個(gè)：

• 模型的尺寸，不會(huì)有APP允許一個(gè)超大規(guī)模的模型的嵌入
• 模型inference的資源限制，端側(cè)不像服務(wù)側(cè)那樣有充分的資源，所以如何保證端側(cè)模型的運(yùn)行效率是個(gè)挑戰(zhàn)

如何解決端側(cè)模型的問題

解決方案就是減少模型的計(jì)算復(fù)雜度并且充分利用端側(cè)的資源。在減少計(jì)算復(fù)雜度方面，可以在端側(cè)模型多用一些輕量的殘差網(wǎng)絡(luò)模塊（lightweight residual blocks）。

?

另外一個(gè)模式就是將channels分割，是得總的模型參數(shù)不變的情況下學(xué)習(xí)更多的內(nèi)容，如下圖：

詳細(xì)方案可以看以下這篇論文《SplitSR：An End-to-End Approach to Super-Resolution on Mobile Devices》。

?

另外如何更有效的利用手機(jī)側(cè)的資源也是提升端側(cè)模型性能的方案。一個(gè)比較簡(jiǎn)單的思路是提升手機(jī)端GPU和DSP的利用率，因?yàn)橄啾扔贑PU計(jì)算資源，GPU和DSP的計(jì)算資源更為寶貴，一個(gè)做法就是將簡(jiǎn)單的工作盡可能交給CPU去執(zhí)行，將復(fù)雜的計(jì)算邏輯交給GPU和DSP去執(zhí)行。

總結(jié)

以上是生活随笔為你收集整理的手机端部署的超分机器学习模型-MobiSR的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。