视频质量评价 VMAF，为何让人又喜又忧？
視頻質(zhì)量評價指標只是衡量畫面質(zhì)量的工具，單項指標的數(shù)值或高或低，都不應是視頻工作者的最終目的。微幀一直都以提升畫質(zhì)優(yōu)化觀看體驗為主要目標，致力于使用最優(yōu)的質(zhì)量評價方式，提供最極致的畫質(zhì)效果。
視頻流量在整個互聯(lián)網(wǎng)流量的占比每年都在高速增長，為降低視頻存儲成本和數(shù)據(jù)傳輸通道的負載，視頻壓縮標準及算法在不斷積極開發(fā)和改進。視頻質(zhì)量的評估在其中也起著至關(guān)重要的作用，盡管已經(jīng)發(fā)展出了大量視頻質(zhì)量評估方法，但普遍接受度最高、最知名的評價方法還是經(jīng)典的 PSNR、SSIM 以及 VMAF。
本文將淺談一下這幾類評價方法的概念，并將結(jié)合微幀在日常實驗中所得的經(jīng)驗，重點聊一聊 PSNR avg.MSE 與 PSNR avg.log，誰更勝一籌？以及 VMAF 的“喜”與“憂”。
PSNR（峰值信噪比）
峰值信號的能量與噪聲的平均能量之比，本質(zhì)的是比較兩張圖像像素值差異，用途較廣，目前仍作為對照其他指標的基線。PSNR 的單位是 dB，數(shù)值越大表示失真越小。
兩個m×n單色圖像 I 和K， I 為一無噪聲的原始圖像，K為 I 的噪聲近似（例： I 為未壓縮的原始圖像，K為 I 經(jīng)過壓縮后的圖像）
其中，MAX是表示圖像點顏色的最大數(shù)值，如果每個采樣點用 8 位表示（例：影像處理），那么就是 255。
PSNR avg.MSE 與 PSNR avg.log，誰更勝一籌？
PSNR avg.MSE：當聚合整個視頻的逐幀分數(shù)時，首先計算 MSE 的算術(shù)平均值，然后取對數(shù)。
PSNR avg.log：當聚合整個視頻的逐幀分數(shù)時，首先計算每幀的 PSNR，然后計算所有視頻幀的算術(shù)平均值。
經(jīng)微幀多次測試表明，相較于 PSNR avg.MSE，PSNR avg.log 具有一定不合理性，其太過“照顧”質(zhì)量更高的幀，比如 PSNR=99dB 和 PSNR=50dB 的單幀，往往在主觀上看不出區(qū)別，但通過 PSNR avg.log 的公式計算后，PSNR=99dB 的一幀就會大大拉高最終平均分，在特定序列上容易被 trick。
然而，事實上人眼對于質(zhì)量越差的幀反而越敏感，所謂一鍋老鼠屎壞了一鍋粥，當觀看視頻時突然閃現(xiàn)一幀質(zhì)量差的畫面，人眼會對這一幀記憶更為深刻。相較于 PSNR avg.log，PSNR avg.MSE 就更加關(guān)照低質(zhì)量幀，從這點上更符合主觀感受。
SSIM（結(jié)構(gòu)相似性）
一種全參考的圖像質(zhì)量評價指標，分別從亮度、對比度、結(jié)構(gòu)三方面度量圖像相似性。SSIM 取值范圍為[0,1]，值越大，表示圖像失真越小。
SSIM 在衡量編碼主觀損失方面有其獨特的表現(xiàn)。比如，當 x264 打開 AQ(自適應量化技術(shù)，關(guān)閉 AQ 時，x264 傾向于對低細節(jié)度的平滑區(qū)域使用過低碼率，AQ 可以更好地把碼率分配到各個宏塊中)，PSNR 和 VMAF 都會嚴重掉分，SSIM 卻能體現(xiàn)出收益。大量實踐表明 AQ 與主觀呈正相關(guān)，SSIM 在這點上更符合主觀感受。
VMAF（視頻多評估方法融合）
由 Netflix 推出的視頻質(zhì)量評價工具，用來解決傳統(tǒng)指標不能反映多種場景、多種特征的視頻情況。該指標是目前互聯(lián)網(wǎng)視頻最主流的客觀視頻評價指標，適用于衡量大規(guī)模環(huán)境中流播視頻質(zhì)量的觀感。?
?
VMAF 的“喜”與“憂”
“喜” — VMAF 的優(yōu)勢
視頻畫質(zhì)增強是目前視頻爆發(fā)時代的剛需應用，它能夠更好的提升用戶觀看體驗，然而質(zhì)量評估常用指標 PSNR 和 SSIM，雖然簡單易算，但卻不能完全反應人眼主觀感受，更無法評價對原畫的增強，VMAF 卻可以做到這一點。
【左】PSNR=30.87dB，SSIM=0.8725，VMAF=67.44
【右】PSNR=22.5dB，SSIM=0.9168，VMAF=100
通過對比可以發(fā)現(xiàn)右圖經(jīng)過畫質(zhì)增強，能展現(xiàn)更多的細節(jié)，小字變得更加清晰，同時 VMAF 也有了較大的提升。
“憂” — VMAF 的不足
①?VMAF 值能夠被 trick。單純?yōu)榱颂岣?VMAF 值，而增強對比度，實際是不合理的，雖 VMAF 值提高了，但畫質(zhì)卻并沒有真正提升，本末倒置。
下圖為例，右邊視頻僅在左邊視頻基礎(chǔ)上進行了對比度增強的處理，左邊 VMAF 為 67.44，右邊 VMAF 為 97，可見經(jīng)過增強對比度，VMAF 也提升了不少，但當我們查看細節(jié)，會發(fā)現(xiàn)畫質(zhì)沒有得到根本提升，原有的馬賽克、噪點依然存在。
?②?VMAF 在衡量原畫損失的能力稍弱，有時不如 SSIM 與 PSNR，甚至適得其反。我們可以做一個簡單實驗，采用 x264 superfast 對標準測試序列 Johnny 做定碼率編碼，在關(guān)閉 deblock 后（采用了 no-deblock 選項），PSNR 和 SSIM 出現(xiàn)明顯損失，VMAF 卻取得了增益，如下表所示。（deblock 是視頻編碼一項成熟已久的技術(shù)，用來減輕編碼造成的馬賽克損傷。）
為了更直觀地感受，我們提取實驗中的同一碼率下的對比幀（下圖），可見 no-deblock（右圖）的 VMAF 略高于開啟 deblock（左圖）的 VMAF，但右圖卻充滿了馬賽克。因此，關(guān)掉 deblock 雖然能提升 VMAF 值，但失真會比較嚴重。
【左】開啟 deblock（deblock），VMAF=82.72
【右】關(guān)閉 deblock（no-deblock），VMAF=83.13
VMAF 雖然有令人擔憂的硬傷，但是確實有其獨到的一面。譬如上方關(guān)閉 deblock 的右圖，雖然馬賽克損傷嚴重，但是左圖整體更模糊一些。此外鑒于 VMAF 能兼顧相對于源的畫質(zhì)增強和畫質(zhì)損傷兩部分，在互聯(lián)網(wǎng)領(lǐng)域使用越來越廣泛。
由此可見，在日常評價視頻質(zhì)量時，單看一組指標數(shù)據(jù)容易產(chǎn)生誤差。視頻質(zhì)量評價指標只是衡量畫面質(zhì)量的工具，單項指標的數(shù)值或高或低，這都不應是視頻工作者的最終目的。微幀一直都以提升畫質(zhì)優(yōu)化體驗為主要目標，倡導大家應當既看 VMAF，也要結(jié)合 PSNR 和 SSIM，進行綜合評估，以達到最接近人眼主觀的測評效果。
總結(jié)
以上是生活随笔為你收集整理的视频质量评价 VMAF，为何让人又喜又忧？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 用VC++自制王码五笔输入法安装包（转）
- 下一篇： PaddleHub创意项目 | 将霉霉P