為了探討用一套客觀，完備的評價系統對在線教育的音視頻通信質量做出評價，力求做到定量，準確，橫向可對比，并基于線上運行的大數據系統，發掘端到端通信平臺存在的問題，找到優化方向，提升在線教育的用戶體驗，VIPKID音視頻團隊負責人張武峰在LiveVideoStackCon2019北京站上做了有關在線教育音視頻質量評價與感知系統的分享。
文 /?張武峰整理 /?LiveVideoStack
大家好我是來自VIPKID的張武峰，今天我與大家分享的是在線教育音視頻質量評價與感知系統。

我有二十余年的音視頻開發經驗，最早從事傳統視頻會議方向的探索，后來轉向至3G、4G網絡下的視頻電話。傳統視頻會議多由專網傳輸，目標是如何盡可能地實現出色的音畫質量；而消費級互聯網基于公共網絡的環境與專網有很大的不同，遇到的挑戰相對于專網來說完全不一樣，這就使得我在進入消費級互聯網行業時發現，自己之前在開發基于專網的商業級音視頻業務當中積累的知識與經驗無法有效應對新的業務場景和開發痛點，知識體系的更新重組對我而言是非常有必要的。2017年我加入了VIPKID，帶領音視頻團隊探索如何更好地將實時RTC技術用于在線教育領域。我之前一直從事技術方面的優化與創新，而這次選題我特意選取了QoE方向，就是因為探索了這么多年的技術，我發現技術最重要的是為實際應用場景帶來具有建設性的優化改進，而質量評價與感知系統是其中最為關鍵的一環。我們希望完整構建一套嚴謹專業客觀的音視頻質量評價與感知系統，從而為用戶體驗的優化與提升解決方案提供強有力的數據支撐。我將基于以下四個方面開展本次分享

1. 用戶痛點

管理大師德魯克曾說：沒有度量就沒有優化，這句話用于音視頻開發也非常恰當。我們在之前的開發過程中就積累了許多教訓，如在優化系統時我們就曾遇見這樣的問題：設計一項優化算法，設計初期我們預期該算法能將用戶體驗提升至新的高度，且我們也通過多種自證方式驗證了其邏輯自洽，于是我們在預期成立的前提下為該算法投入資源進行開發，但在算法上線之后我們卻發現其實際效果和預期存在很大的差異，該算法對于用戶的主觀體驗沒有帶來改觀甚至造成負面影響。這一經驗令我們思考：音視頻系統究竟需要一套怎樣的標準才能準確客觀評價算法的優劣？在設計任何音視頻系統或者針對系統當中某一點進行優化時，開發者一定需要先仔細思考如何借助數據準確合理度量正在開發的算法，不僅是從實驗室角度度量更應當從用戶角度度量。這樣無論是灰度測試還是頻繁地版本迭代，甚至多個團隊基于同一方向進行的優化競爭，確立好的度量標準就如一把尺子，可以準確客觀衡量出算法可為用戶體驗帶來多少提升與優化。

上圖右側餅狀圖展示了VIPKID用戶所反映的針對產品所提出的五大關鍵問題（占比從高到低依次為：網絡問題、設備問題、行為問題、軟件問題與課件問題）對于所有RTC開發者來說，網絡問題永遠是一項最艱巨的挑戰；而當用戶數量達到一定規模時，不同軟硬件平臺設備、不同版本的軟件適配問題也將成為一項亟待解決的重要命題。而上圖左側展示了如果用戶為我們的一項服務給出差評，其給出差評所選出的主要理由：（畫面/聲音卡頓、聲音延時/畫面不同步、聲音不清晰與回聲嚴重）。需要注意的是由于用戶并非專業的開發者，這里沒有一個統一的標準去衡量這些問題。例如什么是“畫面卡頓”，有些用戶可能會將攝像頭故障等其他問題歸類為”畫面卡頓“，這就需要我們基于大量的用戶數據進行篩選清洗與分析從而盡可能找出用戶最關注的幾項痛點。在線教育屬于一個重度依賴音視頻技術的應用場景，故其暴露出來的音視頻技術問題也會很多。

2. 評價體系

既然存在如此多而復雜的用戶痛點，那么確立一套專業客觀精準高效的音視頻用戶體驗評價體系就變得尤為重要。

上圖表格展示了音視頻評價的多個維度，用以評價一節完整在線教育課程的用戶體驗優劣。首先在視頻方面，用戶對卡頓的感知最為敏感，而其統計方法主要是將幀與幀之間超過200ms的間隔視為一次卡頓，（卡頓時間/上課市場）=卡頓率，我們將5%作為引起用戶卡頓感的閾值，數據主要來自客戶端采集。視頻畫面的清晰度則主要使用MOS分作為評價標準，也就是從原始錄像中按照每分鐘1幀的方式抽取I幀圖像并為其清晰度賦予MOS分值，所得到的系統分值再與用戶的主觀感知評價進行匹配，最終得到的分值如果低于3分那么我們就視該視頻畫面清晰度不佳。需要注意的是，這里的MOS分并非單純基于肉眼感知的畫面質量，而是基于綜合視頻編碼與網絡傳輸的參數，通過AI訓練而成的一套算法為其賦分，數據主要通過錄制上課視頻得到。音頻方面，除了“清晰度”這樣一項常見的指標之外，“聲音大小”是我們根據用戶反饋評價新增加的一項評價維度，這主要是因為許多用戶反饋上課時感覺聲音過大或者過小以至于聽不清楚，發生這種情況多由于老師直播或錄制課程時離話筒距離不當或錄制設備不佳，也有可能是用戶端的設置出現失誤。我們選取老師講話的部分并計算其音量是否合適，低于30分我們就認為該片段聲音大小不符合用戶體驗要求；而“清晰度”則依舊使用常見的MOS賦分的形式，利用程序給目標錄像片段的音頻打分，低于3分我們認為該片段的音頻清晰度不佳。以上是我們確立的針對在線教育所設計的一套完整評價維度，作為技術團隊的KPI來使用。針對每一項，我們會有專門的團隊負責優化與改進目標維度對應的算法與技術指標，以實現最優效果。2.1. 視頻卡頓率：卡頓率的定義如下：如果是1對1的視頻應用場景，那么用戶卡頓率為用戶觀看時間內幀與幀之間超過200ms的總時長除以用戶觀看總時長（課中用戶在線時長）；而對于一對多的視頻場景，我們會統計卡頓用戶數占比也就是統計卡頓率大于等于5%的用戶數并將該數字除以總上課人數（也就是進過教室10s以上的用戶數）。這里的200ms閾值其實算是一個比較嚴苛的標準，有一些互聯網公司會將該數值確定在600ms左右，我們這樣做是為了統計更多的卡頓案例并獲得更多的數據以便于我們進行卡頓分析與研究，促使技術團隊更出色地優化卡頓。每一項指標在確立的時候都與應用場景強相關，這些指標雖然都與技術相關但其和用戶主觀感知一一對應。我們為統計到的卡頓情況作出了如下級別細分，其中遇到1、2級別卡頓情況的用戶占比約為5%，遇到3、4、5級別卡頓的用戶平均占比約為18%。這一數字在業內屬于比較好的情況。

2.2. 視頻打分算法流程我們大概花費了兩到三個月探索視頻打分算法，在初期我們閱讀了許多論文著作，發現業界還沒有很出色的無參考視頻打分算法。當時也試驗過其他廠商的比較成熟的算法也沒有達到理想的效果，直接用一張圖片訓練無法實現收斂。于是我們嘗試換了一個方向，也就是從視頻編碼數據流當中抽取一些參數例如GOP幀宏塊的大小，宏塊的個數、丟包個數等以形成訓練數據集，隨后再使用該數據集訓練打分算法模型。我們將得到的模型與人工標記做對比，最終的效果符合我們的需求，和用戶主觀感知結果的匹配度大概在80%，該算法模型就固定下來并被我們用于后續的關鍵開發活動當中。

2.3. 特征提取特征提取的第一步是需要對文件進行解析，我們的線上課程視頻文件基于不同的系統與格式，如mp4、flv、ts等等。再將原文件統一成H.264/H.265碼流之后，碼流解碼程序會解析得到解碼后的圖像序列，該圖像序列會被導入場景檢測程序以生成特征提取單元；特征提取單元會在接下來的流程中被篩選，系統判斷其是否超過最大序列長度，如果未超過，那么該特征提取單元會被直接輸入特征提取程序以提取出有效特征；如果超過，那么該特征提取單元會被依據最大序列長度做切分以生成符合序列長度要求的多條特征提取單元，這些特征單元會被輸入特征提取程序以生成我們想要的特征數據。

2.4. 視頻訓練的關鍵參數下圖展示了訓練該算法模型所需要的幾項關鍵參數，其中包括宏塊個數、幀的類型、宏塊是否會丟包等。這一部分訓練所消耗的算力資源是比較多的，如果想獲得比較出色的訓練效果，服務端強大且可靠的硬件支持必不可少。
2.5. 聲音質量P.563
從事音頻質量評價的朋友應該不會對該聲音質量評價模型感到陌生，該算法模型于2004年被提出。無論是音頻還是視頻，所有全參考的打分算法在線上系統都是不可用的。我們無法直接調取發端和收端的數據套用全參考算法，故面對線上音視頻場景所使用的打分算法一定是單邊的無參考算法。P.563就是這樣一套可靠的單邊算法，其不依賴發端數據，僅需收端數據即可直接運算得到評估分數。大致流程如下圖中顯示的那樣：

首先，提取的原始數據會經由預處理后進行話音參數特征的提取與計算，所得到的參數會被歸類為多種失真類型，按照不同的失真類型選取對應的話音質量模型從而得到準確客觀的MOS分數。之前我們提到了評價維度里面有一項是音量大小，而P.563在預處理的過程中就會計算得到Active speech level adjustment這樣一個參數，我們將4ms幀長下的Speech Level作為聲音大小，取值范圍是1～100，連續3幀以上超過閾值為不合格，反之則會被當成背景噪聲過濾，從而我們得到了評估聲音質量所需的所有關鍵評分。2.6. 質量分析系統之前我們介紹了如何獲取算法，而在獲取到準確算法之后，如何部署大批量的質量分析與數據運算便成了接下來的另一項關鍵命題，為解決該命題我們設計了一套支持全局任務調度的分布式質量分析系統：接口層的HTTP接口與公司的BI系統對接，BI系統會下發質量分析任務，由HTTP接口傳輸至任務生成層；任務生成層會根據上層所下發的任務清單合理進行任務分配，以充分高效利用計算資源；分配結果傳遞至Job Server Node，Job Server Node會將任務真正下發至任務消費層CmqaWorker系統，而每個Worker下層的Audio-quality-evaluation或Video-quality-evaluation等會實際執行計算任務。在-quality-evaluation進行評估計算時，CmqaCollector會收集相關數據并存儲到DBI，每一次任務分發時，Cmqa Master會從DBI當中調取數據以獲知哪些計算資源是空閑的或者任務負載較低，以合理科學高效分配下發任務。該任務系統主要會在每天結束所有課程后的夜間22:00～次日08:00運行以避免影響實時上課，當然有些特殊數據需要在白天上課時同步進行，所以整個系統一直處于24小時不間斷運行狀態。

3. 質量感知

3.1 海豚系統
我們將基于以上評價體系構建的質量感知系統成為“海豚系統”，該系統全天運轉，用以感知整個基于在全球四十多個節點部署的超過一千五百多臺服務器的上課系統。通過該系統我們可以及時獲知那些節點出現異常，甚至精確到哪個用戶出現問題。像VIPKID多為付費產品，用戶對于產品體驗的要求很高，我們必須提高所有技術標準并盡可能精確快速處理危機故障。整個質量感知系統的架構如下：首先底層的數據來源于SDK上報日志（音視頻的SDK，包括音頻視頻幀率、卡頓率、用戶所使用平臺版本、攝像頭數據等，其貢獻數據最多）、客戶端打點（用戶行為）、服務端日志（自建流媒體加速系統的流媒體服務、信令服務、工作狀態等）、BI數據與QOS數據（來自音視頻之外的其他數據），數據拉取與采集之后會進行數據清洗，這些清洗好的結構化數據會被賦予一定標簽，繼而便于接下來的多維分析預處理數據，最后通過統一的數據接口將數據傳輸至分析與查詢服務系統。該系統由以下三大職責：標簽系統和多維分析：便于精細化課程分析與快速響應數據分析需求；實時預警：可以對動態問題與節點故障進行預警；問題挖掘：用于傳輸算法模型、產出智能覆蓋模型，同時挖掘問題設備。

上圖展示的就是我們基于該質量感知系統制作的實時監控大盤。3.2 核心指標下圖展示的核心指標，用于實時課程質量追蹤、問題統計以及客戶端發版前后對比。所有課程的分析結果會產生標簽，例如采集卡頓率數據，我們知道卡頓率和幀率是正相關的，正常的幀率為15FPS，但有些用戶的幀率為5FPS，這些就屬于遭遇卡頓問題的用戶。每一節課都會被打上許多標簽，而真正的問題分析是通過分析某些標簽突然異常變多或者這一節課出現多個異常標簽，我們在定位問題時也是通過標簽來確定。

3.3 實時指標趨勢跟蹤下圖展示了實時指標趨勢跟蹤，可以看到不同地區網絡覆蓋情況差異很大，這也是我們優化調參的重要依據。

3.4 單節質量追蹤下圖展示的是以時間作為緯度統計一節課的質量變動情況。對一節課關鍵性事件、上課過程中的質量變化跟蹤、整節課的質量評價，主要面向SDK研發、后端研發等業務人員。

3.5 排查問題

房間的時間打點主要用于問題追蹤與排查，并與用戶反饋相對應

4. 總結

我們的整套系統還存在許多可以進一步改進的地方，例如基于錄制文件的評價標準不能完全體現下行質量，課程量大了之后服務端計算資源消耗比較高，基于參數的視頻質量評價算法和Codec類型相關，不同的碼流需要重新訓練等等。這也是我們未來努力探索的方向。

LiveVideoStack?秋季招聘

LiveVideoStack正在招募編輯/記者/運營，與全球頂尖多媒體技術專家和LiveVideoStack年輕的伙伴一起，推動多媒體技術生態發展。同時，也歡迎你利用業余時間、遠程參與內容生產。了解崗位信息請在BOSS直聘上搜索“LiveVideoStack”，或通過微信“Tony_Bao_”與主編包研交流。

總結

以上是生活随笔為你收集整理的在线教育音视频质量评价与感知系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。