本文由百度智能云-視頻云音視頻處理技術(shù)架構(gòu)師——邢懷飛，在百度開發(fā)者沙龍線上分享的演講內(nèi)容整理而成。
內(nèi)容從百度智能視頻云的核心競(jìng)爭(zhēng)力：“智感超清”出發(fā)，梳理了智能視頻云相關(guān)的產(chǎn)品概念和技術(shù)。在詳細(xì)介紹了HDR技術(shù)的概念基礎(chǔ)上，結(jié)合相關(guān)“智感超清”能力，重點(diǎn)分享了HDR技術(shù)的應(yīng)用實(shí)踐。

文/ 邢懷飛
整理/ 百度開發(fā)者中心
視頻回放：https://developer.baidu.com/live.html?id=7

本次分享的主題是：智感超清之HDR應(yīng)用實(shí)踐。內(nèi)容主要分為以下三個(gè)部分：

• 智能視頻云3.0 & 智感超清介紹
• HDR技術(shù)概念解析
• “智感超清” HDR技術(shù)應(yīng)用實(shí)踐

01百度智能視頻云3.0&智感超清介紹

百度智能視頻云3.0介紹

上圖就是百度智能視頻云3.0的全景圖。可以用三句話概括：

第一，云智一體化
即百度目前所有的視頻云產(chǎn)品都實(shí)現(xiàn)了智能化。可以看到，圖中標(biāo)注的部分，“智感超清視頻處理”的核心能力就包括了：智能編碼、智能處理、智能抽幀、版權(quán)保護(hù)。其中，“智感超清”是視頻處理產(chǎn)品的一個(gè)核心競(jìng)爭(zhēng)力品牌。

第二，服務(wù)平臺(tái)化
結(jié)合底層的云智一體的能力，我們搭建了兩個(gè)平臺(tái)：視頻創(chuàng)作分發(fā)平臺(tái)，視聯(lián)網(wǎng)感知平臺(tái)。
其中，創(chuàng)作分發(fā)平臺(tái)面向泛媒體和泛互聯(lián)網(wǎng)場(chǎng)景，可以提供端到端一站式的視頻服務(wù)。而視聯(lián)網(wǎng)感知平臺(tái)，面向傳統(tǒng)監(jiān)控產(chǎn)業(yè)，對(duì)視頻端設(shè)備和泛視頻數(shù)據(jù)流進(jìn)行統(tǒng)一接入、分析和管理。

第三，應(yīng)用場(chǎng)景化
結(jié)合具體的應(yīng)用場(chǎng)景，百度智能視頻云在泛互聯(lián)網(wǎng)、泛媒體和泛產(chǎn)業(yè)方向提供了定制化的智能視頻方案覆蓋互動(dòng)娛樂、內(nèi)容生產(chǎn)、智能分析、遠(yuǎn)程實(shí)時(shí)通訊、生產(chǎn)管理、安全管理等場(chǎng)景。

“智感超清”MCP視頻處理產(chǎn)品

以上是智感超清 MCP視頻處理產(chǎn)品的一個(gè)功能框架圖。下面簡(jiǎn)單介紹一下每一層的結(jié)構(gòu)與內(nèi)容。

接入層：與其他云上產(chǎn)品類似，MCP視頻處理產(chǎn)品提供兩個(gè)主要入口：Console、API&SDK。
用戶可以通過控制臺(tái)（Console）進(jìn)入并進(jìn)行相應(yīng)的配置。而對(duì)于B端的客戶，更可以靈活地采用API/SDK的方式對(duì)產(chǎn)品進(jìn)行訪問。

基本功能層：包括基礎(chǔ)的云上轉(zhuǎn)碼的功能，也包括基本的視頻剪輯/拼接/截圖/字幕疊加等附件的功能。
云上轉(zhuǎn)碼可以把用戶上傳的視頻進(jìn)行一個(gè)全格式、全協(xié)議的轉(zhuǎn)換，以滿足于不同客戶場(chǎng)景下、不同網(wǎng)絡(luò)情況、不同終端的適配，并可以靈活的做多碼流切換。

智能視頻處理層：這部分是“智感超清”整個(gè)產(chǎn)品核心打造的能力。抽象出以下三個(gè)層面介紹：

• 第一：智能畫質(zhì)提升:通過AI的手段或其他傳統(tǒng)的手段對(duì)輸入的視頻進(jìn)行預(yù)處理，然后再進(jìn)行轉(zhuǎn)碼處理，會(huì)帶來比遠(yuǎn)視頻更好的視覺體驗(yàn)。其中，智能HDR轉(zhuǎn)換，也是和今天分享強(qiáng)相關(guān)的技術(shù)。
• 第二： 智能老片修復(fù):之所以把這個(gè)門類單獨(dú)出來，是因?yàn)獒槍?duì)這些老片，我們需要有特定的技術(shù)進(jìn)行修復(fù)，以達(dá)到升級(jí)的用戶體驗(yàn)。具體功能包括：劃痕去除，噪點(diǎn)去除和智能上色。
• 第三： 智能視頻編輯 這一部分是基本的視頻編輯能力。包括智能字幕、智能去黑邊、智能去抖動(dòng)等。

以上三個(gè)功能模塊構(gòu)成了智能視頻處理的核心能力。

智能視頻編碼：這一層是比較底層的視頻編碼能力介紹 。
主要包括：內(nèi)容指定編碼、ROI編碼、4k/8k編碼 、還包括百度自研的BD265編碼器等。

介紹完產(chǎn)品框架圖，我們?cè)俳榻B一下智感超清的核心競(jìng)爭(zhēng)力在技術(shù)上如何實(shí)現(xiàn)。

第一部分是智能視頻處理。

智能視頻處理的核心目標(biāo)是提升畫質(zhì) 。它能夠通過視頻預(yù)處理的方式使得在視頻的分辨率、幀率、色深、色域等各個(gè)方面都能有一個(gè)較大提升。

其中比較核心的能力包括：SDR2HDR、超分、插幀。

在超分和插幀上都是基于AI模型。目前，在超分模型上，已經(jīng)研發(fā)了視頻級(jí)別的一個(gè)超分模型；在開源數(shù)據(jù)集上，已經(jīng)達(dá)到了SOTA；在插幀的算法上，也有自研的算法，可以實(shí)現(xiàn)任意幀的一個(gè)插幀。

在智能老片修復(fù)上，百度也和其他的單位合作，構(gòu)建了一個(gè)完整的數(shù)據(jù)集。比較典型的場(chǎng)景如：膠片上老片的物理損傷，包括其它磁帶的一些損傷，“智感超清”產(chǎn)品通過對(duì)圖像畫質(zhì)進(jìn)行多維處理，能夠在不增加視頻帶寬成本的情況下，實(shí)現(xiàn)畫面質(zhì)量的大幅提升，打造視頻的“極質(zhì)”體驗(yàn)。

第二部分是智能視頻編碼。

智能視頻編碼方面，已經(jīng)研發(fā)上線了AI驅(qū)動(dòng)自適應(yīng)的編碼。該模型可以根據(jù)視頻本身內(nèi)容分析，預(yù)測(cè)出最優(yōu)的視頻碼率與分辨率，并能夠與ABR協(xié)議結(jié)合，生成一組最優(yōu)的編碼配置。與此同時(shí)，構(gòu)建了一個(gè)數(shù)百萬場(chǎng)景級(jí)別的數(shù)據(jù)集，將VMAF當(dāng)成視頻質(zhì)量評(píng)分的一個(gè)指標(biāo)。

不僅如此，百度還自研了BD265編碼器，開發(fā)了60多種算法，并考慮主觀驅(qū)動(dòng)的算法去提升視頻的畫質(zhì)并節(jié)省碼率。
對(duì)比開源編碼器，BD265編碼器提升了30%的碼率，速度上也提升了2~4倍。該編碼器參加了去年的MSU大賽，在VMAF上也達(dá)到了top2的水平。這個(gè)是我們前面對(duì)智能視頻處理和編碼的一個(gè)簡(jiǎn)單介紹。

通過前面的簡(jiǎn)單介紹，相信大家對(duì)智能視頻云有一個(gè)基本的認(rèn)識(shí)，并對(duì)“智感超清”產(chǎn)品有一個(gè)初步的了解。在下一章節(jié)，將給大家重點(diǎn)介紹HDR相關(guān)的技術(shù)。

02 HDR技術(shù)概念解析

什么是HDR

HDR的特點(diǎn)可以用三個(gè)“更”字概括。

• 更高的亮度范圍
  相對(duì)于SDR來說，HDR可以達(dá)到10000nits的最高亮度。這使得它能夠更好地展示明暗對(duì)比，在亮度方面，更加貼近人眼的對(duì)物理世界的感官認(rèn)知。（可以參考上圖HDR和SDR的效果對(duì)比)
• 更廣的色彩范圍
  上圖左下角示例，是一個(gè)CIE1931色彩空間的表達(dá)。傳統(tǒng)的709領(lǐng)域（即：高清），能夠覆蓋35.9%的色彩范圍，而到了2020領(lǐng)域（即：超高清），已經(jīng)能夠覆蓋75.8%的色彩范圍。

那么，如何去表達(dá)這種更寬的色彩范圍呢？需要我們更高的比特也就是更高的位深去表示。

這也對(duì)應(yīng)了HDR的第三個(gè)特性：

• 更深的色深（位深）
  基本上hdr都是在10比特，更高的要達(dá)到12比特才能達(dá)到。以上是我們對(duì)HDR效果的一個(gè)簡(jiǎn)單介紹。

HDR端到端系統(tǒng)流程
之所以想介紹這個(gè)流程，是因?yàn)镠DR它不是一個(gè)單點(diǎn)的技術(shù)概念，它涵蓋了從視頻的拍攝、制作 、視頻編碼、解碼、播放、傳輸?shù)纫幌盗辛鞒獭Ｐ枰麄€(gè)HDR技術(shù)生態(tài)上的企業(yè)相互配合，才能完成整個(gè)HDR端到端的系統(tǒng)。下圖形象的展示了整個(gè)系統(tǒng)流程：

視頻錄制（光電轉(zhuǎn)換）→后期加工（產(chǎn)生元數(shù)據(jù)）→獲取HDR視頻及相關(guān)的內(nèi)容元數(shù)據(jù)→壓縮傳輸→解碼→顯示器顯示播放（電光轉(zhuǎn)換）

HDR技術(shù)相關(guān)概念
一、光電/電光傳輸曲線
將自然界中真實(shí)場(chǎng)景轉(zhuǎn)換為屏幕上顯示出來的圖像，需要經(jīng)過兩個(gè)主要步驟：

通過攝影設(shè)備，將外界光信息轉(zhuǎn)換為圖像信息存儲(chǔ)。本質(zhì)上存儲(chǔ)為數(shù)字信號(hào)。

通過顯示設(shè)備，將圖像信息轉(zhuǎn)換為屏幕輸出的光信息。

整個(gè)過程中，信息流要經(jīng)過兩個(gè)重要的非線性映射，才能形成我們?cè)陲@示設(shè)備上看到的圖像。這兩個(gè)重要的非線性映射過程，我們又稱光電/電光傳輸曲線。

下面介紹三種常見的光電/電光傳輸曲線

• Gamma曲線

是一種在傳統(tǒng)的SDR顯示設(shè)備上被廣泛使用的轉(zhuǎn)換曲線。
對(duì)應(yīng)的標(biāo)準(zhǔn)是：BT.1886，峰值亮度僅為100nits。
隨著顯示設(shè)備亮度范圍的提升、圖像編碼bit depth的提升，使得傳統(tǒng)Gamma校正不再適用HDR的光電轉(zhuǎn)換過程。

• PQ曲線

由杜比實(shí)驗(yàn)室根據(jù)Barten的人眼模型提出的電光轉(zhuǎn)換曲線。峰值亮度可以達(dá)到：10000nits。
優(yōu)點(diǎn)：能夠提供更高的亮度范圍。

• HLG曲線

由BBC和NHK聯(lián)合提出的光電轉(zhuǎn)換曲線。
優(yōu)點(diǎn)：兼容SDR的顯示和播放。在廣電領(lǐng)域被廣泛應(yīng)用。

二、HDR元數(shù)據(jù)
定義：描述視頻或圖像處理過程中的關(guān)鍵信息/特征。產(chǎn)生于視頻的制作階段，主要包含色彩和亮度兩大方面信息。

分類：按構(gòu)成結(jié)構(gòu)上分類，可分為靜態(tài)元數(shù)據(jù)和動(dòng)態(tài)元數(shù)據(jù)。

• 靜態(tài)元數(shù)據(jù)：視頻中采用單一的元數(shù)據(jù)去控制每一幀的色彩和細(xì)節(jié)，元數(shù)據(jù)并不會(huì)發(fā)生變化。易造成某些大動(dòng)態(tài)場(chǎng)景的畫面暗部或者高亮細(xì)節(jié)丟失。
• 動(dòng)態(tài)元數(shù)據(jù)：視頻中的采用變化的元數(shù)據(jù)去控制每一幀的色彩和細(xì)節(jié)。通過動(dòng)態(tài)元數(shù)據(jù)，我們還可以根據(jù)用戶的顯示情況，利用tone-mapping（色調(diào)映射）的算法進(jìn)行更多的適配。

三、HDR常見格式

前面也提到，HDR不是一個(gè)單點(diǎn)的技術(shù)概念，而是一個(gè)端到端的生態(tài)。從上述圖中也可以看到，HDR的格式生態(tài)十分的復(fù)雜，正是由于此，HDR的標(biāo)準(zhǔn)有些割裂，并不像視頻編碼一樣那么清晰。若按照光電/電光傳輸曲線的種類來劃分，可以分為以下幾個(gè)大的標(biāo)準(zhǔn)類型：

• HDR10：由美國(guó)CT組織牽頭的一個(gè)開放標(biāo)準(zhǔn)。完全開源免費(fèi)
• HLG：是由BBC和NHK聯(lián)合開發(fā)的高動(dòng)態(tài)范圍HDR的一個(gè)標(biāo)準(zhǔn)。HLG不需要元數(shù)據(jù)，能后向兼容SDR。
• HDR10+：為抗衡DolbyVision, 由三星推出的一個(gè)部分免費(fèi)的標(biāo)準(zhǔn)。采用的是動(dòng)態(tài)元數(shù)據(jù)。
• DolbyVision：Dolby Vision使用基本層+增強(qiáng)層來實(shí)現(xiàn)向下的兼容性。并使用動(dòng)態(tài)元數(shù)據(jù)來描述所有場(chǎng)景。但它是一個(gè)收費(fèi)標(biāo)準(zhǔn)，授權(quán)體系較為復(fù)雜。
• HDR Vivid：是國(guó)產(chǎn)的一個(gè)標(biāo)準(zhǔn)。在現(xiàn)有傳輸曲線和色彩空間標(biāo)準(zhǔn)的基礎(chǔ)上，增加動(dòng)態(tài)元數(shù)據(jù)的描述，開源免費(fèi)且兼容性好。

03 “智感超清”HDR技術(shù)應(yīng)用實(shí)踐

典型超高清HDR應(yīng)用需求

隨著5G通信的發(fā)展，給視頻行業(yè)帶來全新的變革，對(duì)應(yīng)的終端能力也越來越強(qiáng)，互聯(lián)網(wǎng)超高清應(yīng)用空前爆發(fā)，這對(duì)超高清視頻的要求也越來越高。通常，我們所說的超高清視頻包括以下六要素：

• 高分辨率
• 高幀率
• 色深解析
• 寬色域
• 高動(dòng)態(tài)范圍
• 全景聲音頻

這其中，4K、HDR等技術(shù)貫穿整個(gè)從采集、制作、呈現(xiàn)等整個(gè)端到端的流程。

下面看一下需要如何的技術(shù)儲(chǔ)備，才能實(shí)現(xiàn)如此端到端的流程？
HDR處理流程與需求分析

內(nèi)容生產(chǎn)：
用戶拍攝HDR視頻上傳到云端。在這一階段，平臺(tái)需要具備以下HDR的處理能力：

• HDR視頻云端編輯能力
• SDR素材適配
• HDR中間層（Mezz）文件的編碼
• 元數(shù)據(jù)的生成
• 元數(shù)據(jù)的透?jìng)?/li>

存儲(chǔ)（壓縮）/處理（傳輸）階段
在HDR視頻編碼和處理階段，需要以下過程：

• HDR轉(zhuǎn)SDR。 這涉及到重要的色調(diào)映射過程。
• 多種輸入格式自動(dòng)適配。
• SDR轉(zhuǎn)HDR。 可以通過AI的方式，將SDR轉(zhuǎn)換為HDR。
• HDR格式互轉(zhuǎn)能力。HDR的格式多樣，能夠支持各種HDR格式互轉(zhuǎn)十分重要，如HDR10轉(zhuǎn)HLG。
• HDR元數(shù)據(jù)的寫入、透?jìng)鳌Ｔ谠糎DR視頻基礎(chǔ)上，能否在碼率壓縮后寫入，這也對(duì)云端能力提出了要求。

HDR顯示：
在視頻播放階段，需要一定的策略在端上做相應(yīng)的適配。具體來說，需要實(shí)現(xiàn)：

• HDR終端視頻播放
• SDR終端視頻播放
• 端上自動(dòng)適配

在接下來的章節(jié)，會(huì)詳細(xì)分析各項(xiàng)技術(shù)的實(shí)現(xiàn)過程。

HDR轉(zhuǎn)SDR

HDR轉(zhuǎn)SDR的過程實(shí)際上是一個(gè)色調(diào)映射的過程。（Tone Mapping Operator）
HDR和SDR視頻的亮度空間和色彩范圍都差別很大，這其中的轉(zhuǎn)換過程較為復(fù)雜。通俗理解，色調(diào)映射就是一個(gè)將HDR的圖像或者視頻，轉(zhuǎn)換為SDR的圖像，并在SDR顯示設(shè)備正確顯示的技術(shù)。
以下是典型色調(diào)映射處理的流程：

預(yù)處理
通過預(yù)處理，將圖像的亮度信息轉(zhuǎn)換為log域。

圖像分解
通過圖像的保邊濾波器，將圖像分解成基礎(chǔ)層和細(xì)節(jié)層。

亮度信息提取
將提取出的基礎(chǔ)層亮度信息通過不同的色調(diào)曲線進(jìn)行壓縮，并將壓縮后的亮度信息加在細(xì)節(jié)層上。

后置處理
通過后置處理，進(jìn)行顏色校正，得到SDR圖像。
在色調(diào)映射過程中，最重要的是如何選擇不同的實(shí)現(xiàn)算法。這需要結(jié)合實(shí)際的應(yīng)用場(chǎng)景。

SDR轉(zhuǎn)HDR
SDR轉(zhuǎn)HDR也是一個(gè)十分復(fù)雜的過程，不僅僅是變換顏色空間和動(dòng)態(tài)范圍，更需要考慮暗部細(xì)節(jié)增強(qiáng)與過曝細(xì)節(jié)的修復(fù)、對(duì)比度的提升、色調(diào)保持不變、色彩增強(qiáng)處理以達(dá)到HDR的要求以及通過算法實(shí)現(xiàn)對(duì)噪聲的控制。
在亮度方面：希望通過SDR視頻中殘留的，過度曝光和曝光不足區(qū)域的信息，盡可能地恢復(fù)這些區(qū)域內(nèi)丟失的細(xì)節(jié)。
在色彩方面：通過SDR視頻中受限的色彩，估計(jì)出原始場(chǎng)景的色彩，讓恢復(fù)出的HDR視頻的色彩盡可能地接近原始場(chǎng)景中豐富而真實(shí)的色彩。

上圖可以看到傳統(tǒng)方法對(duì)SDR轉(zhuǎn)HDR的過程，主要是通過線性轉(zhuǎn)化的方式，對(duì)過曝/欠曝的區(qū)域進(jìn)行重建。
目前AI的方法，在超分和增強(qiáng)領(lǐng)域用的非常多，由于它使用的是非線性的表達(dá)，一般認(rèn)為通過AI的方法可以實(shí)現(xiàn)SDR轉(zhuǎn)HDR的更好效果。

基于AI的端到端SDR轉(zhuǎn)HDR方案

特點(diǎn)：

采用全局/局部信息融合的方式。

采用Residual Connection殘差學(xué)習(xí)。

Squeeze-Excitation，channer維度自注意力算法加持。

超高清預(yù)測(cè)分辨的速度快。

以下是基于AI的SDR到HDR的效果展示：

可以看到，基于AI的SDR到HDR的轉(zhuǎn)換，在提升動(dòng)態(tài)范圍的同時(shí)，還補(bǔ)充了曝光不足區(qū)域（陰影）的部分細(xì)節(jié)。整個(gè)畫面細(xì)節(jié)更豐富，層次更分明，整體的色彩飽和度上也有明顯的提升。
在AI模型的訓(xùn)練過程中，數(shù)據(jù)的積累十分重要。這也是該方案在后續(xù)需要優(yōu)化的地方。

HDR格式之間的轉(zhuǎn)換
HDR的格式多樣，所以能夠支持HDR格式之間相互轉(zhuǎn)換十分必要。與轉(zhuǎn)碼類似，HDR格式上也需要做一個(gè)統(tǒng)一分發(fā)。
要理解HDR格式相互轉(zhuǎn)換的這個(gè)過程，需要對(duì)PQ系統(tǒng)模型和HLG系統(tǒng)模型有一個(gè)深刻的理解。

PQ系統(tǒng)模型

環(huán)境光經(jīng)過光光轉(zhuǎn)換曲線、逆電光轉(zhuǎn)換曲線，變換成PQ的電信號(hào)。在顯示階段，經(jīng)過電光轉(zhuǎn)換曲線，變成顯示光。

HLG系統(tǒng)模型

環(huán)境光經(jīng)過電光轉(zhuǎn)換曲線，變換成hlg的電信號(hào)。在顯示階段，通過逆電光轉(zhuǎn)換曲線、光光轉(zhuǎn)換曲線，變成顯示光。
HLG系統(tǒng)模型從流程上看，基本與PQ系統(tǒng)模型是相反的。

HEVC HDR支持
這部分以HEVC為例，重點(diǎn)介紹編碼在HDR上是如何承載的。
HEVC對(duì)元數(shù)據(jù)的承載包含兩個(gè)部分的重要信息。

• VUI信息

VUI是在H.264/AVC和H.265/HEVC序列參數(shù)集中攜帶的元數(shù)據(jù)元素的集合，它們共同描述了實(shí)際視頻信號(hào)如何在樣本流內(nèi)存儲(chǔ)和映射，包括編碼信號(hào)的參數(shù)或?qū)傩浴⑸士臻g、傳輸曲線等。

• SEI信息

SEI是用來保證SDR與HDR之間的互用性的機(jī)制的方法，用于實(shí)現(xiàn)在接收器或者播放器中實(shí)現(xiàn)直接顯示或轉(zhuǎn)換顯示的過程。

它主要包含制作的描述性信息（或色彩容積轉(zhuǎn)換）、Tone mapping信息、Color remapping信息、Knee function信息。

對(duì)HDR元數(shù)據(jù)的解析也是非常重要的能力。只有將原視頻的HDR元數(shù)據(jù)保存并解析下來，才能將處理完的元數(shù)據(jù)寫入以保持HDR的效果。

“智感超清”HDR客戶落地案例
“智感超清”HDR目前已經(jīng)服務(wù)各行業(yè)的客戶，滿足用戶需求。

• 在廣電領(lǐng)域行業(yè)，能夠滿足用戶標(biāo)清、高清到4k轉(zhuǎn)換的需求。
• 在電影行業(yè)，通過AI技術(shù)對(duì)老片進(jìn)行修復(fù)，做超高清處理，提升整個(gè)在處理過程中的效率，降低成本消耗，同時(shí)讓老舊片子真正重新煥發(fā)生命力。
• 在新媒體行業(yè)，依托百度智感超清的諸多能力優(yōu)化視頻體驗(yàn)，也增加了很多視頻編輯能力，包括非線編能力，極大的提升編輯在創(chuàng)作內(nèi)容過程中的效果。
• 在互聯(lián)網(wǎng)領(lǐng)域，服務(wù)于互聯(lián)網(wǎng)視頻用戶，一方面提升了視頻質(zhì)量，另一方面降低了帶寬成本 解決UGC場(chǎng)景下視頻質(zhì)量較差的問題。

以上是老師的全部分享內(nèi)容。如有任何疑問，可以在留言區(qū)提出。

總結(jié)

以上是生活随笔為你收集整理的“智感超清”之HDR技术落地实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。