本文來自CosMos Software創(chuàng)始人Alex. Gouaillard的博客，他同時為WebRTC、QUIC等標(biāo)準(zhǔn)組織工作。LiveVideoStack對原文進(jìn)行了摘譯。

文 / Alex. Gouaillard

譯 / 元寶

原文 http://webrtcbydralex.com/index.php/2018/10/11/webrtc-video-quality-assessment/

如何確保WebRTC視頻通話或視頻流的質(zhì)量良好呢？可以從統(tǒng)計API中獲取所有可能的指標(biāo)，但仍然無法接近答案。原因很簡單。首先，報告的大部分統(tǒng)計數(shù)據(jù)都是關(guān)于網(wǎng)絡(luò)的，而不是視頻質(zhì)量。然后，眾所周知，并且嘗試過的人也知道，雖然這些影響了通話的感知質(zhì)量，但它們并不直接相關(guān)，這意味著您無法根據(jù)這些指標(biāo)猜測或計算視頻質(zhì)量。最后，通話質(zhì)量是一個非常主觀的問題，而這些問題是計算機難以直接計算的。

在受控環(huán)境中，例如在實驗室中，或在進(jìn)行單元測試時，人們可以使用參考指標(biāo)進(jìn)行視頻質(zhì)量評估，即在發(fā)送方標(biāo)記帶有ID的幀，然后捕獲接收方的幀，匹配ID （以補償抖動，延遲或其他網(wǎng)絡(luò)引起的問題）并測量兩個圖像之間的某種差異。谷歌的 “ 全棧測試 ” 可以解決許多編解碼器和網(wǎng)絡(luò)損傷的問題，可以作為單元測試套件的一部分運行。但是如何在生產(chǎn)和實時中做到這一點呢？

對于大多數(shù)WebRTC PaaS用例，參考框架（https://chromium.googlesource.com/external/webrtc/+/master/video/full_stack_tests.cc）不可用（服務(wù)提供商以任何方式訪問客戶內(nèi)容都是非法的）。當(dāng)然，服務(wù)的用戶可以在發(fā)送方和接收方來記錄流，并離線計算質(zhì)量得分。但是，這不允許對突然的質(zhì)量下降采取行動或做出反應(yīng)。它只會有助于事后分析。那么如何在不需要額外錄音、上傳、下載...的情況下實時檢測到質(zhì)量下降并采取行動呢？

在我的案例中，或者在某些特定情況下，哪個WebRTC PaaS提供了最佳視頻質(zhì)量呢？對大多數(shù)人來說，這是一個無法回答的問題。如何在檢測網(wǎng)絡(luò)的同時實時、自動實現(xiàn)4×4比較，或者這種Zoom與WebRTC（https://jitsi.org/news/a-simple-congestion-test-for-zoom/）的比較呢？

CoSMo R＆D推出了一種新的基于人工智能的視頻評估工具，與其KITE測試引擎和相應(yīng)的網(wǎng)絡(luò)儀表模塊相結(jié)合，實現(xiàn)了這一壯舉。

介紹

1992年，康奈爾大學(xué)(Cornell University)的CU-SeeMe開始進(jìn)行第一次互聯(lián)網(wǎng)上實時通信(RTC)實驗。隨著Skype在2003年8月的推出，RTC在互聯(lián)網(wǎng)上迅速普及。從2011年開始，WebRTC技術(shù)使得RTC可以直接在web瀏覽器和移動應(yīng)用程序上使用。

根據(jù)2017年6月發(fā)布的思科視覺網(wǎng)絡(luò)指數(shù)【1】，實時視頻流量（流媒體，視頻會議）應(yīng)從2016年互聯(lián)網(wǎng)視頻流量的3％（每月1.5 exabyte）急劇增長到2021年的13％（每月24 exabyte）。

對于任何處理視頻的應(yīng)用程序，終端用戶的體驗質(zhì)量(QoE)是非常重要的。行業(yè)中已經(jīng)有許多工具和指標(biāo)來自動評估視頻應(yīng)用程序的QoE。例如，Netflix開發(fā)了視頻多方法評估融合(VMAF)度量【2】，通過使用不同的視頻編碼器和編碼設(shè)置來度量交付的質(zhì)量。這個度量有助于常規(guī)和客觀地評估幾十個編碼設(shè)置下的數(shù)千個視頻編碼的質(zhì)量。

但它需要原始參考非失真視頻來計算壓縮后的視頻質(zhì)量得分。該方法很好地適用于非失真視頻預(yù)先錄制內(nèi)容的視頻流，但不適用于RTC，因為RTC通常無法提供原始視頻。?

可以從源端記錄原始視頻，但是不能實時地進(jìn)行視頻質(zhì)量評估。此外，在實時通信期間錄制實況視頻會帶來法律和安全問題。由于這些原因，執(zhí)行視頻質(zhì)量評估的實體（例如第三方平臺即服務(wù)）可能不能被授權(quán)存儲視頻文件。

因此，RTC的特殊情況不能通過需要參考視頻的度量來解決。因此，有必要使用無需參考指標(biāo)的評估方法。這些指標(biāo)稱為無參考視頻質(zhì)量評估（NR-VQA）指標(biāo)。

I. 視頻質(zhì)量指標(biāo)

視頻質(zhì)量評估技術(shù)可分為三類。

首先，存在全參考（FR）技術(shù)，其需要完全訪問參考視頻。在FR方法中，我們發(fā)現(xiàn)了傳統(tǒng)的視頻質(zhì)量方法：信噪比（SNR），峰值信噪比（PSNR）【3】，均方誤差（MSE），結(jié)構(gòu)相似性（SSIM）【4】，視覺信息保真度（VIF）【5】，VSNR【6】或視頻質(zhì)量度量工具（VQM）【7】。

這些指標(biāo)眾所周知且易于計算，但它們并不能很好地反映用戶體驗的質(zhì)量 【8、9】。

然后存在縮減參考（RR）技術(shù)，其需要從參考視頻提取的一組粗略特征。

最后，無參考（NR）技術(shù)不需要關(guān)于參考視頻的任何信息。實際上，他們根本不需要任何參考視頻。

對NR視頻質(zhì)量指標(biāo)的全面而詳細(xì)的評論已于2014年發(fā)布【10】。最近對音頻和視頻質(zhì)量評估方法的調(diào)查已于2017年發(fā)布【11】。 度量被分為兩組：基于像素的方法（NR-P），其根據(jù)從基于像素的特征導(dǎo)出的統(tǒng)計來計算，以及比特流方法（NR-B），其從編碼的比特流計算。

II. 先前為WebRTC視頻質(zhì)量評估所做的努力

在文獻(xiàn)【12】中已經(jīng)提出了通過WebRTC向許多觀眾評估廣播視頻質(zhì)量的第一個舉措。對于這個實驗，作者使用SSIM索引【4】作為視頻質(zhì)量的衡量標(biāo)準(zhǔn)。測試的目的是測量有多少觀眾可以加入觀看廣播，同時保持可接受的圖像質(zhì)量。在準(zhǔn)確評估用戶體驗時，結(jié)果并不確定。隨著加入廣播的觀眾數(shù)量的增加，SSIM測量值仍保持令人驚訝的穩(wěn)定，其值為[0.96，0.97]。然后突然，當(dāng)客戶端數(shù)量達(dá)到大約175時，SSIM下降到接近0的值。當(dāng)從1到175的觀眾增加時，用戶體驗不可能在沒有質(zhì)量損失的情況下保持可接受。此外，測試使用的是偽客戶端，只實現(xiàn)了WebRTC中負(fù)責(zé)negotiation和傳輸?shù)牟糠?#xff0c;而不是WebRTC媒體處理管道，這對于評估廣播實驗的視頻質(zhì)量是不現(xiàn)實的。

在文獻(xiàn)【13】中，作者評估了在有損網(wǎng)絡(luò)上壓縮和傳輸受損的視頻上的各種NR指標(biāo)（0到10％丟包率）。研究的八個NR度量是復(fù)雜性（幀中存在的對象或元素的數(shù)量），運動，塊效應(yīng)（相鄰塊之間的不連續(xù)性），急動（幀的非流暢和非平滑呈現(xiàn)），平均模糊，模糊比，平均噪音和噪音比。由于這些NR指標(biāo)中沒有一個能夠準(zhǔn)確評估此類受損視頻的質(zhì)量，因此他們建議使用機器學(xué)習(xí)技術(shù)將若干NR指標(biāo)與兩個網(wǎng)絡(luò)測量（比特率和數(shù)據(jù)包丟失水平）相結(jié)合，以提供改進(jìn)NR度量標(biāo)準(zhǔn)能夠提供與視頻質(zhì)量度量（VQM）相當(dāng)?shù)囊曨l評級，這是一種可靠的FR度量，可提供與人類感知的良好相關(guān)性。在本次實驗中，他們使用了從實時質(zhì)量視頻數(shù)據(jù)庫獲得的十個視頻。這些視頻使用H.264在8個不同級別進(jìn)行壓縮，并且通過網(wǎng)絡(luò)傳輸時受到了損害，網(wǎng)絡(luò)丟失了12個包。

他們根據(jù)FR度量標(biāo)準(zhǔn)視頻質(zhì)量度量（VQM）【14】給出的分?jǐn)?shù)評估了他們的結(jié)果質(zhì)量，但沒有針對NR度量。

在文獻(xiàn)【15】中，作者依靠許多基于比特流的特征來評估接收視頻的損傷以及這些損傷如何影響感知視頻質(zhì)量。

論文【16】提出了音頻和視頻指標(biāo)的組合來評估視聽質(zhì)量。評估已在兩個不同的數(shù)據(jù)集上進(jìn)行。

首先，他們展示了FR指標(biāo)組合的結(jié)果。作者選擇的FR音頻指標(biāo)是音頻質(zhì)量的感知評估（PEAQ）【17】和ViSQOL【18】。至于FR視頻指標(biāo)，他們使用視頻質(zhì)量度量（VQM）【7】，峰值信噪比（PSNR）和SSIM【4】 。

然后他們展示了NR指標(biāo)組合的結(jié)果。NR音頻指標(biāo)是SESQA和降低的SESQA（RSESQA）【19】。對于NR視頻指標(biāo)，他們使用了塊狀模糊度量【20】，盲/無參考圖像空間質(zhì)量評估器（BRISQUE）【21】，盲圖像質(zhì)量指數(shù)（BIQI）【22】?和自然圖像質(zhì)量評估器（ NIQE）【23】。兩個數(shù)據(jù)集的最佳組合是RSESQA的塊狀模糊。

最近在移動寬帶網(wǎng)絡(luò)上評估WebRTC視頻流體驗質(zhì)量的實驗已在文獻(xiàn)【24】中發(fā)表。各種分辨率的不同視頻（從720×480到1920×1080）通過Chrome瀏覽器和Kurento Media Server之間的WebRTC進(jìn)行視頻通話的輸入。WebRTC視頻的質(zhì)量由28人主觀評估，得分從1（質(zhì)量差）到5（優(yōu)質(zhì)）。然后，作者使用了幾個指標(biāo)，這些指標(biāo)均基于原始視頻和WebRTC視頻之間計算的錯誤，以客觀地評估WebRTC視頻的質(zhì)量。不幸的是，作者沒有清楚地報告主觀評估與計算的客觀測量之間是否存在相關(guān)性。

III. ?NARVAL:基于神經(jīng)網(wǎng)絡(luò)的視頻質(zhì)量評價無參考指標(biāo)的聚合

III.1 方法論

這項工作主要有兩個部分：第一，從代表視頻會議用例的視頻中提取特征（與例如Netflix使用的預(yù)先錄制的內(nèi)容），然后訓(xùn)練模型以預(yù)測給定的分?jǐn)?shù)視頻。我們使用了六個公開可用的視頻質(zhì)量數(shù)據(jù)集，其中包含視頻通信期間可能出現(xiàn)的各種失真，以訓(xùn)練和評估我們模型的性能。

NARVAL TRAINING：密集深度神經(jīng)網(wǎng)絡(luò)圖

對于特征提取部分，我們選擇了在不同圖像質(zhì)量數(shù)據(jù)集上發(fā)布和評估的度量和特征。在我們的數(shù)據(jù)庫的視頻上計算它們之后，我們存儲了數(shù)據(jù)以便能夠在訓(xùn)練部分中重復(fù)使用它們。然后可以處理數(shù)據(jù)以用于我們的訓(xùn)練模型，例如取得視頻上的特征的均值。第二部分，我們使用了不同的回歸模型，主要是輸入和層變化的神經(jīng)網(wǎng)絡(luò)，也支持向量回歸。

我們?yōu)槊總€模型測試了多個參數(shù)組合，并且僅針對每個模型類別保持最佳。除了最基本的神經(jīng)網(wǎng)絡(luò)之外，還使用了卷積，循環(huán)和時間延遲神經(jīng)網(wǎng)絡(luò)。

NARVAL TRAINING：3D卷積網(wǎng)絡(luò)圖

我們使用5倍擬合在數(shù)據(jù)庫上訓(xùn)練我們的模型，然后多次重復(fù)訓(xùn)練。由于每個數(shù)據(jù)庫包含多個失真，我們不能隨意拆分折疊，因此我們嘗試選擇5個折疊，這樣所有失真都存在于一個折疊中，并且我們對所有測試保持相同的分布。然后，只考慮折疊的平均值。

另一種創(chuàng)建折疊的方法是制作一個視頻，它的變形是一個折疊。使用這種方法，折疊會更小，驗證折疊對模型來說是全新的。

III.2 結(jié)果

首先針對訓(xùn)練集（即具有已知分?jǐn)?shù)的集合）進(jìn)行驗證，以查看我們計算的視頻質(zhì)量是否與已知值匹配，如下所示。

為了進(jìn)行健全性檢查，我們再次計算了NARVAL在相同參考視頻上的SSIM和WMAF分?jǐn)?shù)所提供的分?jǐn)?shù)。我們可以看到，雖然不完全相同，但得分表現(xiàn)出相同的行為。有趣的是，它還說明了圖像處理社區(qū)中已知的結(jié)果，但在WebRTC社區(qū)中顯然是違反直覺的：感知視頻質(zhì)量不會隨比特率/帶寬線性降低。您可以在下圖中看到，要將質(zhì)量降低10％，您需要將帶寬減少6到10倍！

結(jié)論

實際上，這意味著您現(xiàn)在可以使用NARVAL在沒有參考幀或視頻的情況下計算視頻質(zhì)量！它為現(xiàn)有用例中更簡單的實現(xiàn)打開了大門，并為許多新的用例打開了大門，在這些用例中，可以在流式傳輸管道的任何給定點進(jìn)行質(zhì)量評估。

完整的研究報告可從CoSMo獲得。CoSMo還為兩個實現(xiàn)提供許可證：一個用于研究和原型設(shè)計的Python實現(xiàn)，以及一個用于速度和SDK嵌入的C / C ++實現(xiàn)。最終，視頻質(zhì)量評估將被提議作為一種服務(wù)，與 Citrix的AQA服務(wù)建立在POLQA之上。

參考文獻(xiàn)

[1] – Visual Networking Index, Cisco, 2017.

[2] – Toward A Practical Perceptual Video Quality Metric, Netflix, 2016.

[3] – Objective video quality measurement using a peak-signal-to-noise-ratio (PSNR) full reference technique, American National Standards Institute, Ad Hoc Group on Video Quality Metrics, 2001.

[4] – Image Quality Assessment: From Error Visibility to Structural Similarity, Wang et al., 2004.

[5] – Image information and visual quality, Sheik et al., 2006.

[6] – VSNR: A Wavelet-Based Visual Signal-to-Noise Ratio for Natural Images,

chandler et al., 2007.

[7] – A new standardized method for objectively measuring video quality, Margaret H. Pinson and Stephen Wolf, 2004.

[8] – Mean Squared Error: Love It or Leave It? A new look at Signal Fidelity Measures, Zhou Wang and Alan Conrad Bovik, 2009.

[9] – Objective Video Quality Assessment Methods: A Classification, Review, and Performance Comparison, Shyamprasad Chikkerur et al., 2011.

[10] – No-reference image and video quality assessment: a classification and review of recent approaches, Muhammad Shahid et al., 2014.

[11] – Audio-Visual Multimedia Quality Assessment: A Comprehensive Survey,Zahid Akhtar and Tiago H. Falk, 2017.

[12] – WebRTC Testing: Challenges and Practical Solutions, B. Garcia et al., 2017.

[13] – Predictive no-reference assessment of video quality, Maria Torres Vega et al., 2017.

[14] – A new standardized method for objectively measuring video quality, Margaret H. Pinson and Stephen Wolf, 2004.

[15] – A No-Reference bitstream-based perceptual model for video quality estimation of videos affected by coding artifacts and packet losses, Katerina Pandremmenou et al., 2015.

[16] – Combining audio and video metrics to assess audio-visual quality, Helard A. Becerra Martinez and Mylene C. Q. Farias, 2018.

[17] – PEAQ — The ITU Standard for Objective Measurement of Perceived Audio Quality, Thilo Thiede et al., 2000.

[18] – ViSQOL: The Virtual Speech Quality Objective Listener, Andrew Hines et al., 2012.

[19] – The ITU-T Standard for Single-Ended Speech Quality Assessment, Ludovic Malfait et al., 2006.

[20] – No-reference perceptual quality assessment of {JPEG} compressed images, Zhou Wang et al, 2002.

[21] – Blind/Referenceless Image Spatial Quality Evaluator, Anish Mittal et al., 2011.

[22] – A Two-Step Framework for Constructing Blind Image Quality Indices, Anush Krishna Moorthy and Alan Conrad Bovik, 2010.

[23] – Making a “Completely Blind” Image Quality Analyzer, Anish Mittal et al., 2013.

[24] – Quality of Experience Estimation for WebRTC-based Video Streaming, Yevgeniya Sulema et al., 2018.

[25] – Real-time communication testing evolution with WebRTC 1.0, Alexandre Gouaillard and Ludovic Roux, 2017.

[26] – Comparative study of WebRTC Open Source SFUs for Video Conferencing, Emmanuel Andre et al., 2018

總結(jié)

以上是生活随笔為你收集整理的机器学习帮助WebRTC视频质量评价的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。