无参考评估在云信的视频测试实践
導讀：在實時音視頻領域，如何實現視頻的全自動化評估是一個業界共同的難題。無參考（NR）技術不需要關于參考視頻的任何信息，無疑是視頻全自動化評估的曙光。本篇文章來自網易智企資深測試工程師，主要介紹云信測試組最近在使用的一種視頻無參考評估方法，及其自動化應用方案。各渠道文章轉載需注明來源及作者。
?
一、背景介紹
視頻質量評估的目的是準確衡量出人眼對于視頻內容的感知。源視頻在經過采集編碼傳輸解碼等模塊傳輸到人眼之后，會不可避免的引入一些壓縮失真，嚴重的時候甚至會有綠屏、花瓶、馬賽克等問題。在業界評估視頻質量有兩種常用方法：視頻質量主觀評估和視頻質量客觀評估。
常見的主觀實驗流程一般如下：
1. 選取有代表性的源視頻
2. 添加待衡量的視頻處理方案
3. 按照ITU標準設計主觀實驗
4. 招募志愿者觀看視頻并打分
5. 收集主觀打分并剔除無效數據
6. 數據建模并得出實驗結論。
視頻質量客觀評估通過一些評估標準來量化視頻質量，主要分為三種，全參考（FR）、部分參考（RR）、無參考（NR）。
全參考評估比較處理前后的兩段視頻每個像素的差別。
部分參考評估提取兩段視頻的一些特性，并依此給予它們評分。
全參考評估和部分參考評估均為有參評估，常見的評估算法有PSNR, SSIM VIF VMAF PEVQ等，需要輸入視頻和輸出視頻才能得出評估結果，適用于離線測試。
無參考評估是在沒有任何原視頻的參考下進行評估，比較適合線上視頻評估、視頻增強和視頻合并等場景。
?
顯然主觀評估是一個周期長，費時費力的過程。通過主觀打分來驗證所有視頻質量是不可行的。客觀評估通過一些與主觀質量評估結果相近的數學模型來量化人眼對于視頻內容的感知，可以提升一些評估的效率。
在網易云信的視頻類效果評估測試中，包括對編碼器優化（H264、X264效果優化）、編碼器升級（H264升級到H265，H264升級到VP8）、Qos優化等的測試以主觀評估為主，客觀評估為輔。在客觀評估的方式中，全參考的評估方式比如PSNR、SSIM、VMA等主要用于編碼器的優化和升級測試中。當然除了全參考的評估方式，網易云信測試團隊也在嘗試應用無參考評估到音視頻相關的測試中。下面將介紹網易云信最近在使用的一種視頻無參考評估方法。
?
二、Video Quality Indicators簡單介紹
Video Quality Indicators 是一款開源的音視頻無參考評估方案，提供了視頻的卡頓、噪聲、橫紋、畫面缺失、曝光度等無參考分析。在intel開源的QosTestFramework中使用了Video Quality Indicators為其無參考評估的一個方法。Video Quality Indicators（http://vq.kt.agh.edu.pl//metrics.html），支持windows、mac、linux。 通過分析yuv文件，來評估視頻文件質量。官網提供了多種調用方案，Bash、Python、Matlab等。支持對卡頓、畫面缺失、塊效應、橫紋、躁點、畫面閃爍等進行分析。 主要支持分析的字段信息如下：
| 指標 | 值范圍 | 正常范圍 | 備注 |
| Commercial Black：黑塊 | 0~1 | 0 | 1代表有黑塊 |
| Blur：模糊度 | 0~79 | 0~5 | 值越大代表越不清晰 |
| Blockiness：塊效應 | 0~3570 | 0.9~1.01 | 值越大畫面質量越好 |
| Blockloss：畫面缺失 | 0~200 | 0~5 | 值越大畫面缺失越明顯 |
| Noise：噪點 | 0~30 | 0~30 | 值越大畫面質量越差 |
| Interlacing：交錯橫紋 | ：0~1 | 0 | 值越大橫紋越明顯 |
| Contrast：對比度 | 0~120 | 45~55 | 1代表有黑塊 |
| Flicking：閃爍 | 0~8 | 0.125左右 | 值越大圖像質量越差 |
| Freezing：卡頓 | 0、1 | 0 | 1表示卡住 |
| Exposure：曝光 | 0~255 | 115~125 | 值越大曝光時間越大 |
其他字段展示詳見：http://vq.kt.agh.edu.pl//metrics.html 下面通過一段視頻來展示下 Video Quality Indicators 的分析效果（截取自官網）：
Video Quality Indicators
?
三、QosService框架設計
Video Quality Indicators提供15種視頻相關指標的分析結果，而且Video Quality Indicators分析的是圖像，即給出的是幀與幀之間的對比結果，所以一段5分鐘的視頻，在平均幀率25幀的情況下，Video Quality Indicators會提供7500個數據點。原數據類型多且數據量大，為了方便分析，降低工具使用門檻，提升工具利用率，對Video Quality Indicators提供的無參考分析功能進行了服務化。 在服務化過程中，使用了tornado為服務框架，在QosTestFramework的基礎上，將分析結果持久化到數據庫中，最后使用前端進行分析結果的展示。 整體實現架構如下所示：
用戶通過輸入UID、CID來觸發視頻文件的分析和分析結果顯示。 DL VIDEO：與錄制服務器交互下載錄制文件到本地 Ffmpeg：轉碼對應的文件到yuv格式（Video Quality Indicators僅支持分析yuv格式） VQ：Video Quality Indicators對對應的yuv文件進行分析并且將數據持久化到數據庫中 前端最終呈現：
無參考分析實例：
源視頻為：
qosservice
可以看到視頻運動的小牛附近畫面模糊并且存在部分噪點，使用QosService分析的結果如下：
Blur表示了畫面的清晰度，blur數值大于5，說明畫面比較模糊，數值越大代表畫面越模糊。如圖軟件的分析結果表示清晰度異常，與實際情況相符
Noise表示畫面中存在的噪點，數值越大，表明噪點越多，畫面質量越差。Noise大于30，即認為畫面的噪點過大。如圖軟件的分析結果表示噪點異常，與實際情況相符
Blockloss：表示畫面中存在的畫面缺失，這個視頻畫面完整度較好，測算出的值與實際情況保持一致
Contrast：表示畫面的對比度，這個視頻中圖像的對比度在肉眼可接受的范圍內，測算出的值與實際情況保持一致
Freezing：表示畫面的卡頓情況，這個視頻中未出現卡頓，測算出的值與實際情況保持一致
?
四：總結和展望
在實時音視頻領域，如何實現視頻的全自動化評估是一個業界共同的難題。無參考（NR）技術不需要關于參考視頻的任何信息，無疑是視頻全自動化評估的曙光。引用下魯迅先生的名言：其實地上本沒有路，走的人多了，也便成了路。致敬下為視頻全自動化評估做出努力的業界同胞們。
?
各渠道文章轉載需注明來源及作者。
更多技術干貨，歡迎關注vx公眾號“網易智慧企業技術+”。系列課程提前看，精品禮物免費得，還可直接對話CTO。
總結
以上是生活随笔為你收集整理的无参考评估在云信的视频测试实践的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 网易云信携手SNH48 GROUP，打造
- 下一篇： 报名 | 网易MCtalk: 5G+AI