如今，互聯(lián)網(wǎng)上的社交行為已不局限于QQ和微信。泛娛樂(lè)與社交領(lǐng)域相融合所形成的泛娛樂(lè)社交正在幫助企業(yè)打開(kāi)全新的文娛布局。泛娛樂(lè)應(yīng)用社交與互動(dòng)性強(qiáng)成為共同特征，而具備這些特性的產(chǎn)品往往都集中在直播、短視頻、圖片分享社區(qū)等社交化娛樂(lè)產(chǎn)品。

在這些產(chǎn)品背后的黑科技也持續(xù)成為關(guān)注重點(diǎn)，網(wǎng)易云信在網(wǎng)易MCtalk 泛娛樂(lè)創(chuàng)新峰會(huì)上重點(diǎn)介紹了超越像素的AI視頻黑科技“超分”。 超分辨率(Super-Resolution)通過(guò)硬件或軟件方法提高原有圖像的分辨率，通過(guò)一幅或者多幅低分辨率的圖像來(lái)得到一幅高分辨率的圖像過(guò)程就是超分辨率重建，網(wǎng)易云信通過(guò)人工智能深度學(xué)習(xí)將低分辨率視頻重建成高分辨率視頻模糊圖像、視頻瞬間變高清，為移動(dòng)端為用戶(hù)帶來(lái)極致視頻體驗(yàn)。

?

什么是超分辨率

廣義的超分辨率 (超分辨率算法, Super Resolution) 是指一類(lèi)用于提升圖像分辨率的技術(shù)。這類(lèi)技術(shù)已經(jīng)存在了很長(zhǎng)一段時(shí)間，應(yīng)用也非常廣泛。隨著圖像處理理論的發(fā)展，以及機(jī)器學(xué)習(xí)的普及和更高性能的處理器的出現(xiàn)，各類(lèi)更優(yōu)秀的超分辨率算法陸續(xù)出現(xiàn)?，F(xiàn)在提及超分辨率算法時(shí)，往往是特指依靠機(jī)器學(xué)習(xí)來(lái)實(shí)現(xiàn)的圖像放大算法。文中提到超分辨率算法時(shí)也均特指這類(lèi)算法。它能夠提供遠(yuǎn)超于傳統(tǒng)圖像放大算法的圖像質(zhì)量。

圖1. 將原始圖像縮小3倍后分別使用Bicubic (一種傳統(tǒng)圖像放大算法) 和超分辨率算法CNN (一種基于CNN的圖像放大算法) 進(jìn)行放大[1]。

超分辨率理論描述

超分辨率算法算法本質(zhì)上和傳統(tǒng)圖像放大算法大體類(lèi)似，都是利用已有的圖像信息去預(yù)測(cè)需要的像素點(diǎn)。只不過(guò)傳統(tǒng)算法的預(yù)測(cè)模型非常簡(jiǎn)單，可以通過(guò)人工設(shè)計(jì)的方式實(shí)現(xiàn)。例如雙線(xiàn)性插值，就是利用目標(biāo)像素周?chē)乃膫€(gè)點(diǎn)來(lái)做預(yù)測(cè)，離目標(biāo)位置越近的點(diǎn)權(quán)重越大，通過(guò)一個(gè)簡(jiǎn)單的公式就能得到結(jié)果: f(x,y)=f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy

圖2. 雙線(xiàn)性插值，通過(guò)Q11~Q22這四個(gè)點(diǎn)預(yù)測(cè)點(diǎn)P

而現(xiàn)代超分辨率算法為了得到更精確的預(yù)測(cè)結(jié)果，其預(yù)測(cè)模型則復(fù)雜了很多。一般有多個(gè)卷積層和激活層，會(huì)利用到目標(biāo)像素周?chē)艽笠黄瑓^(qū)域的圖像信息，包含成千上萬(wàn)個(gè)模型參數(shù)，純靠人工設(shè)計(jì)是不現(xiàn)實(shí)的。所以人們才會(huì)依靠機(jī)器學(xué)習(xí)的方式來(lái)決定參數(shù)。這種做法還附帶有不少好處。例如無(wú)需對(duì)圖像處理有深厚的理解就可以訓(xùn)練模型，也可以根據(jù)自己的應(yīng)用場(chǎng)景調(diào)整訓(xùn)練集，從而得到更合適的預(yù)測(cè)模型。

下圖是一個(gè)簡(jiǎn)單的例子，來(lái)自經(jīng)典的超分算法超分辨率算法CNN[1]。模型基于卷積神經(jīng)網(wǎng)絡(luò)，以原始圖像為輸入，先是用廉價(jià)的上采樣算法將分辨率提升到期望的大小, 然后經(jīng)過(guò)3層分別為9x9x128，3x3x64，5x5的卷積運(yùn)算，得到超分輸出。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖3. 超分辨率算法CNN網(wǎng)絡(luò)結(jié)構(gòu)

近年來(lái)每屆超分競(jìng)賽都會(huì)出現(xiàn)不少值得借鑒的新理論和新實(shí)現(xiàn)，超分辨率算法的效果上限被不斷提高。

?

什么時(shí)候用超分辨率

雖然視覺(jué)效果很好，但超分辨率算法在使用上有幾方面限制需要注意。其中最重要的是硬性指標(biāo)性能。即便是極為簡(jiǎn)單的超分辨率算法，其運(yùn)算量也是傳統(tǒng)放大算法的上千倍，能否滿(mǎn)足應(yīng)用的性能需求需要經(jīng)過(guò)測(cè)試和優(yōu)化。

另外，目前的超分辨率算法算法主要分兩個(gè)流派，一派的目標(biāo)是盡可能地還原信息，另一派則允許在不影響視覺(jué)體驗(yàn)的前提下對(duì)內(nèi)容進(jìn)行一些修改。需要根據(jù)應(yīng)用場(chǎng)景來(lái)選擇不同的算法。

圖4. 上圖左側(cè)為超分辨率算法GAN模型[2]放大4倍生成的圖片，可以看到首飾的紋理被大幅修改。

超分辨率的優(yōu)勢(shì)

??? 基于深度學(xué)習(xí)的超分技術(shù)能較好的恢復(fù)圖像細(xì)節(jié)。在視頻發(fā)送源可能因?yàn)榉N種客觀限制， 無(wú)法提供高分辨率的視頻，比如攝像頭采集能力不足， 網(wǎng)絡(luò)帶寬不足，源端處理能力不足等。在這些情形下， 如果云端或者接收端的處理能力滿(mǎn)足要求， 可以借助超分技術(shù)， 對(duì)于視頻質(zhì)量做恢復(fù)， 呈現(xiàn)給用戶(hù)高質(zhì)量的視頻。所以超分技術(shù)為在惡劣的客觀條件下的視頻應(yīng)用提供了高質(zhì)量呈現(xiàn)， 是傳統(tǒng)的應(yīng)用借助人工智能技術(shù)提升使用體驗(yàn)的典型落地場(chǎng)景。

??

網(wǎng)易云信在超分辨率的實(shí)踐

??? 網(wǎng)易云信提供了點(diǎn)播直播和實(shí)時(shí)音視頻等技術(shù)能力。 支持的終端包括Windows PC,? MAC,? iPhone,? iPad,? Android手機(jī)， 機(jī)頂盒， 智能手表等可穿戴設(shè)備。其中可穿戴設(shè)備， 機(jī)頂盒等終端的成本控制比較嚴(yán)格， 通常CPU處理能力相對(duì)較弱， 無(wú)法支持高清， 甚至標(biāo)清的視頻規(guī)格， 但是作為這些終端的使用者， 他們依然希望看到高清或標(biāo)清的視頻質(zhì)量， 接收的終端可能是PC或者性能較好的手機(jī), 平板電腦等設(shè)備，它們自己可能有能力提供優(yōu)秀的計(jì)算資源。在這種場(chǎng)景下, 網(wǎng)易云信可以在接收的終端上通過(guò)超分辨率技術(shù)， 恢復(fù)視頻質(zhì)量，極大地提升了移動(dòng)端用戶(hù)的體驗(yàn)。如果接收的終端本身運(yùn)算能力不足以支撐深度學(xué)習(xí)， 但是有能力處理高清視頻的解碼， 網(wǎng)易云信依然可以在云端對(duì)低分辨率的視頻進(jìn)行處理， 采用包括超分在內(nèi)的技術(shù)，對(duì)質(zhì)量恢復(fù)后，將高質(zhì)量的視頻提供到接收終端。

尤其針對(duì)弱網(wǎng)情況，云信將在云端或者接收終端通過(guò)超分技術(shù)對(duì)質(zhì)量進(jìn)行補(bǔ)償， 為用戶(hù)呈現(xiàn)超高質(zhì)量視頻。云信通過(guò)人工智能深度學(xué)習(xí)將低分辨率視頻重建成高分辨率視頻模糊圖像、視頻瞬間變高清，為移動(dòng)端為用戶(hù)帶來(lái)極致視頻體驗(yàn)。

?

[1] C. Dong, C. C. Loy, K. He, and X. Tang. Learning a deep convolutional network for image super-resolution. In European Conference on Computer Vision (ECCV), pages 184–199. Springer,

2014.

[2] Ledig C, Theis L,Huszar F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J]. 2016:105-114.

?

想要技術(shù)干貨、行業(yè)洞察，歡迎關(guān)注網(wǎng)易云信博客。

了解網(wǎng)易云信，來(lái)自網(wǎng)易核心架構(gòu)的通信與視頻云服務(wù)。

---

網(wǎng)易云信（NeteaseYunXin）是集網(wǎng)易18年IM以及音視頻技術(shù)打造的PaaS服務(wù)產(chǎn)品，來(lái)自網(wǎng)易核心技術(shù)架構(gòu)的通信與視頻云服務(wù)，穩(wěn)定易用且功能全面，致力于提供全球領(lǐng)先的技術(shù)能力和場(chǎng)景化解決方案。開(kāi)發(fā)者通過(guò)集成客戶(hù)端SDK和云端OPEN API，即可快速實(shí)現(xiàn)包含IM、音視頻通話(huà)、直播、點(diǎn)播、互動(dòng)白板、短信等功能。

?

?

總結(jié)

以上是生活随笔為你收集整理的网易超分黑科技来了！全新移动端视频体验时代来临的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。