?

?

導讀：本文整理自網易資深開發工程師程玲在線上直播 MCtalk Live#3:直播點播窄帶高清之 JND 感知編碼技術內容分享，文末也可查看直播回顧視頻。

文｜程玲 網易云信資深音視頻引擎開發工程師

直播點播已經與日常生活息息相關，這個過程中大家最關注的是什么，是更低的播放成本？還是更高的畫質？這就涉及到了窄帶高清技術，對于視頻窄帶高清技術，智能視頻編碼是其中最基礎也是最重要的一個部分。

?

窄帶高清技術概述

窄帶高清技術實際上是一套以人眼的主觀感受最優為基準的視頻編碼技術，代表的是一種成本與體驗最合理配置、最佳性價比的視頻服務理念。窄帶是指節省不必要的比特，高清是把比特分配到更能產生價值的地方，從而實現在同樣帶寬條件下收獲更加清晰優質的畫質。

在疫情的影響下，直播從傳統秀場滲透到各個領域，全民直播時代到來，對窄帶高清技術的需求也越來越大。本文將首先介紹下業界一些比較成熟的窄帶高清方案，再分享網易云信在窄帶高清技術上的探索實踐，最后再分享其關鍵技術點 JND 感知編碼技術。

?

業界窄帶高清方案簡介

業界已經有比較成熟的窄帶高清技術的應用，下面將介紹一些典型的技術方案。

?淘寶直播?

淘寶直播是采用 HEVC 編碼實現了 720p/25fps,800kbps 的壓縮，且 PSNR>43db/VMAF>90，其視頻窄帶高清技術主要應用有三個方面：

• 音視頻增強，采用基于 AI 的圖像增強、美顏和語音增強來提高生產質量

• 感知處理，采用信源信道聯合自適應編碼，包括 ROI 檢測、根據場景分類設置不同的編碼參數、智能碼控等

• S265 編碼器，S265 編碼器是業界領先的 HEVC 編碼器

?阿里窄帶高清?

阿里的窄帶高清方案是從人眼視覺模型出發，將編碼器的優化目標從經典的“保真度最高”調整為“主觀體驗最好”。憑借獨有算法，弱化人眼易忽視的區域，強化人眼關注的細節，修復人眼厭惡的內容，突破當代視頻編碼器的能力上限，在節省碼率的同時，也能提供更加清晰的觀看體驗。

?騰訊極速高清?

騰訊極速高清是采用視頻智能類(視頻分成游戲、秀場、體育、戶外、動漫、美食、影視劇等十幾個大類幾十個小類場景)、智能編碼參數(不同場景配置不同最優編碼參數)、前置處理 （銳化、軟模糊、去塊、降噪）等技術盡可能解決轉碼失真、低分辨率模糊、鏡頭抖動、噪聲大、低碼率鋸齒塊等轉碼中存在的問題，應用在斗魚、企鵝電競、CCTV、新英體育等。

?

NE264 窄帶高清技術

NE264?是網易云信自研的符合 H.264 標準的視頻編碼器，目前已在 RTC、直播點播中應用。針對直播點播，NE264 目標是在現有架構下實現更低的帶寬、更高的畫質，即 NE264 窄帶高清。

下面我們將簡單介紹下視頻編碼技術和根據人眼視覺特性提出的視覺感知編碼技術，在此基礎上提出和實現了 NE264 窄帶高清技術。

?視頻編碼?

視頻編碼都是利用數據間的冗余來進行壓縮。早期視頻編碼依靠優化空域冗余、時域冗余、頻域冗余等帶來壓縮效率的提升。從 MPEG-1 發展到 MPEG-2，碼率節省約 50%，編碼效率翻倍，復雜度增長為 5% 左右。

2003年推出的 H.264 是視頻壓縮協議的經典，在 H.264 推出后，傳統的編碼方式優化效率越來越低。從 H.264(AVC) 到 H.265(HEVC)，雖然編碼效率提升了 40%，但其背后復雜度卻增長了 5 倍，而從 H.265 到最新的 H.266(VVC) 標準，編碼效率不到 40%，但復雜度增加了 10 倍以上。

隨著編碼標準的演進，收益越來越小。隨著技術的發展，技術突破愈發困難，因此迫切需要一種編碼壓縮的新思路。

?人眼視覺系統（HVS）?

隨著對人眼視覺系統(HVS)生理和心理研究的發展，我們發現，其實人腦處理視覺時有非常多的信息冗余，利用人眼視覺特性可以明顯的改善視覺壓縮效率，這就是人眼感知壓縮的原理。

人眼視覺系統由眼球、神經系統及大腦視覺中樞三部分構成，當人眼注視視頻場景時，入射光首先由瞳孔和水晶體調節、聚焦，使景物在視網膜上成像，然后由視網膜上的神經元將光信號轉化為神經信號并發送到視皮層，經過視皮層以及腦部其他區域的進一步處理后形成對視頻場景的感知。

近幾年來，在視覺心理學、生理學的指導下，通過對人眼的某些視覺現象的觀察和研究，人們發現了 HVS 的很多特性。目前在視覺感知編碼中，一般應用到的 HVS 特性有視覺注意、視覺掩蓋、視覺敏感、視覺統計學習機制等，HVS 的一些特性如下圖：

視覺掩蓋，人眼對單一視覺信號比較容易感知，當幾個視覺信號同時存在時，HVS 會對其中一個或多個信號的感知能力下降甚至消失，感知閾值發生改變，包括：

• 亮度掩蓋：人眼對較亮或者較暗區域感知更弱

• 紋理掩蓋：人眼對非均勻區域的可見性閾值為 明顯高于均勻區域

• Pattern 掩蓋：人眼對規則物體的分辨力明顯會高于不規則的物體

• 運動掩蓋：人眼對劇烈運動的場景分辨力會明顯下降

視覺注意，即當人眼注意視頻場景時，人眼會快速將注意力集中在感興趣的視頻內容或者對象上。包括兩種模式：

• 由外部激勵驅動的自底向上(Bottom-up)的處理過程。主要跟圖像內容的顯著性相關，與周圍區域具有較大差異性的目標容易吸引觀察者的視覺關注。

• 由任務驅動的自上而下(Top-down)的處理過程。意識支配、依賴于特定的命令，由人的“認知因素”決定, 比如知識、預期和當前的目標，如監控場景下的人體更容易引起注意。

?視覺感知編碼?

視覺感知編碼的目的是利用已知的 HVS 特性，最大限度消除人眼無法感知的信息，用更少的比特資源提供視覺感知質量更理想的視頻圖像。為此，研究人員提出了大量的視覺感知編碼方法。根據編碼方法所利用的 HVS 特性不同，研究和應用比較多的是基于視覺掩蓋的編碼方法和基于視覺注意的編碼方法。

關于視覺掩蓋的編碼方法，人眼多通道模型的特點，一個激勵的存在將導致另一個激勵探測閾值的改變，致使人眼對其中一種或多種激勵的感知能力下降或消失，這就為消除視覺冗余提供了可能。目前，基于視覺掩蓋的編碼方法主要有：基于 JND 模型的編碼方法和基于 SSIM、VMAF 等主觀評價機制的編碼方法。其中 JND 模型的編碼方法是人眼視覺編碼目前廣泛使用的技術，也是我們重點研究的技術。

關于視覺注意的編碼方法，根據是否考慮 HVS 的中央凹特性，基于視覺注意的編碼方法可以分為兩類，基于感興趣區域的編碼方法和基于人眼顯著性檢測的編碼方法。

• 基于感興趣區域（ROI）的編碼方法的基本思想是在視頻編碼前，對輸入的視頻場景進行視覺感知分析確定感興趣區域。在編碼過程中通過調整編碼參數，比如 QP，來分別控制感興趣區域和非感興趣區域的失真程度，進而改善感興趣區域的編碼質量。該技術提出已有多年，實際在使用時提升比較有限。

• 基于人眼顯著性檢測(Visual saliency detection)的編碼方法指通過根據人的視覺特點，提取圖像中的顯著區域(即人類感興趣的區域)。面對一個場景時，人類自動地對感興趣區域進行處理而選擇性地忽略不感興趣區域，這些人們感興趣區域被稱之為顯著性區域。該技術是人眼感知編碼中比較常見的技術，通常和 JND 等技術配合達到更好的壓縮效果，也是我們要優先研究的技術。

?NE264 技術?

目前業界窄帶高清技術已相對比較成熟，結合 NE264 編碼特性以及想要達成的目標，我們的窄帶高清技術主要分為三大部分：

• 視頻增強前處理技術：紋理增強，提升主觀體驗

• 顯著性檢測技術：基于人眼視覺注意特性，區分顯著性和非顯著性區域，用于編碼，提高壓縮率

• JND 感知編碼技術：基于人眼視覺掩蓋特性，作用于編碼，提高壓縮率

具體的流程我們可以結合下圖看一下：對于輸入視頻，我們可以通過機器學習分析視頻內容特性，然后進行視頻增強前處理，以提升畫質，再進行顯著性檢測區分顯著性和非顯著性區域，傳遞給 NE264 編碼器，NE264 編碼計算 JND 系數，再結合顯著性檢測結果，作用于編碼，最終輸出顯示。

下圖為增強前處理的對比效果圖，其中左圖為原圖，右圖為增強處理后的效果，可以發現經過視頻增強處理后的圖像主觀得到明顯提升。

視頻增強效果

下圖為顯著性檢測效果圖，其中上面彩色圖為原圖，下面黑白圖為顯著性檢測效果圖，為 0-255 的值，越亮說明越是顯著性區域。

顯著性檢測效果

?

JND 感知編碼技術

下面我們就來看看上面提到的關鍵技術：JND 感知編碼技術。

JND(Just Noticeable Distortion)為最小可覺察誤差，用來度量人眼對圖像中不同區域失真的敏感性，多用于基于視覺特性的圖像/視頻編碼、數字水印、圖像質量評價。目前已有多個 JND 模型被提出，主要分為兩類，基于像素域的 JND 模型和基于 DCT 域的 JND 模型。

• 基于像素域的 JND 模型能在像素域上更為直觀的給出每一個像素點的 JND 閾值，不需要考慮頻域特性，計算簡單方便，但精度不高。

• 基于 DCT 域的 JND 模型考慮頻域特性，應用更廣，通常包括三部分，亮度自適應(Luminance Adaptation, LA)、對比度掩蔽(Contrast Masking, CM)以及對比度敏感函數(Contrast Sensitivity Function, CSF)。我們主要采用的是基于 DCT 域的 JND 感知編碼技術。JND 計算公式如下：

基于 NE264 的 JND 感知編碼如下：對于輸入的 YUV 圖像，我們首先計算亮度敏感度、紋理敏感度和對比敏感度，從而得到 JND 系數，然后作用于 DCT 域，改變原有的 ?DCT系數，然后進行編碼，輸出碼流。

?

總結

本文主要介紹了 NE264 窄帶高清技術和 JND 感知編碼技術，對于直播點播應用而言，如何在保證高清畫質的基礎上盡可能的減少帶寬始終是追求的目標，視頻編碼是其中至關重要的環節，不管是傳統編碼技術，還是結合智能編碼技術，我們都將持續努力，帶來更低時延、更高畫質的優質視頻體驗。

以上就是本次分享的全部內容，點擊【閱讀原文】即可查看本次分享的視頻回顧。

?作者介紹?

程玲，網易云信資深音視頻算法工程師，目前在網易云信主要從事視頻編碼算法研究相關的工作，對視頻質量優化、碼率控制算法有比較豐富的經驗。

?延伸閱讀?

• 技術系列課回顧 | 淺談 Serverless 開發和應用

• 云信技術系列課 | RTC 系統音頻弱網對抗技術發展與實踐

• 云信技術系列課回顧視頻｜視頻直播關鍵技術和趨勢

總結

以上是生活随笔為你收集整理的技术系列课回顾 | 直播点播窄带高清之 JND 感知编码技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。