為了探討用一套客觀，完備的評(píng)價(jià)系統(tǒng)對(duì)在線教育的音視頻通信質(zhì)量做出評(píng)價(jià)，力求做到定量，準(zhǔn)確，橫向可對(duì)比，并基于線上運(yùn)行的大數(shù)據(jù)系統(tǒng)，發(fā)掘端到端通信平臺(tái)存在的問(wèn)題，找到優(yōu)化方向，提升在線教育的用戶體驗(yàn)，VIPKID音視頻團(tuán)隊(duì)負(fù)責(zé)人張武峰在LiveVideoStackCon2019北京站上做了有關(guān)在線教育音視頻質(zhì)量評(píng)價(jià)與感知系統(tǒng)的分享。
文 /?張武峰整理 /?LiveVideoStack
大家好我是來(lái)自VIPKID的張武峰，今天我與大家分享的是在線教育音視頻質(zhì)量評(píng)價(jià)與感知系統(tǒng)。

我有二十余年的音視頻開發(fā)經(jīng)驗(yàn)，最早從事傳統(tǒng)視頻會(huì)議方向的探索，后來(lái)轉(zhuǎn)向至3G、4G網(wǎng)絡(luò)下的視頻電話。傳統(tǒng)視頻會(huì)議多由專網(wǎng)傳輸，目標(biāo)是如何盡可能地實(shí)現(xiàn)出色的音畫質(zhì)量；而消費(fèi)級(jí)互聯(lián)網(wǎng)基于公共網(wǎng)絡(luò)的環(huán)境與專網(wǎng)有很大的不同，遇到的挑戰(zhàn)相對(duì)于專網(wǎng)來(lái)說(shuō)完全不一樣，這就使得我在進(jìn)入消費(fèi)級(jí)互聯(lián)網(wǎng)行業(yè)時(shí)發(fā)現(xiàn)，自己之前在開發(fā)基于專網(wǎng)的商業(yè)級(jí)音視頻業(yè)務(wù)當(dāng)中積累的知識(shí)與經(jīng)驗(yàn)無(wú)法有效應(yīng)對(duì)新的業(yè)務(wù)場(chǎng)景和開發(fā)痛點(diǎn)，知識(shí)體系的更新重組對(duì)我而言是非常有必要的。2017年我加入了VIPKID，帶領(lǐng)音視頻團(tuán)隊(duì)探索如何更好地將實(shí)時(shí)RTC技術(shù)用于在線教育領(lǐng)域。我之前一直從事技術(shù)方面的優(yōu)化與創(chuàng)新，而這次選題我特意選取了QoE方向，就是因?yàn)樘剿髁诉@么多年的技術(shù)，我發(fā)現(xiàn)技術(shù)最重要的是為實(shí)際應(yīng)用場(chǎng)景帶來(lái)具有建設(shè)性的優(yōu)化改進(jìn)，而質(zhì)量評(píng)價(jià)與感知系統(tǒng)是其中最為關(guān)鍵的一環(huán)。我們希望完整構(gòu)建一套嚴(yán)謹(jǐn)專業(yè)客觀的音視頻質(zhì)量評(píng)價(jià)與感知系統(tǒng)，從而為用戶體驗(yàn)的優(yōu)化與提升解決方案提供強(qiáng)有力的數(shù)據(jù)支撐。我將基于以下四個(gè)方面開展本次分享

1. 用戶痛點(diǎn)

管理大師德魯克曾說(shuō)：沒(méi)有度量就沒(méi)有優(yōu)化，這句話用于音視頻開發(fā)也非常恰當(dāng)。我們?cè)谥暗拈_發(fā)過(guò)程中就積累了許多教訓(xùn)，如在優(yōu)化系統(tǒng)時(shí)我們就曾遇見(jiàn)這樣的問(wèn)題：設(shè)計(jì)一項(xiàng)優(yōu)化算法，設(shè)計(jì)初期我們預(yù)期該算法能將用戶體驗(yàn)提升至新的高度，且我們也通過(guò)多種自證方式驗(yàn)證了其邏輯自洽，于是我們?cè)陬A(yù)期成立的前提下為該算法投入資源進(jìn)行開發(fā)，但在算法上線之后我們卻發(fā)現(xiàn)其實(shí)際效果和預(yù)期存在很大的差異，該算法對(duì)于用戶的主觀體驗(yàn)沒(méi)有帶來(lái)改觀甚至造成負(fù)面影響。這一經(jīng)驗(yàn)令我們思考：音視頻系統(tǒng)究竟需要一套怎樣的標(biāo)準(zhǔn)才能準(zhǔn)確客觀評(píng)價(jià)算法的優(yōu)劣？在設(shè)計(jì)任何音視頻系統(tǒng)或者針對(duì)系統(tǒng)當(dāng)中某一點(diǎn)進(jìn)行優(yōu)化時(shí)，開發(fā)者一定需要先仔細(xì)思考如何借助數(shù)據(jù)準(zhǔn)確合理度量正在開發(fā)的算法，不僅是從實(shí)驗(yàn)室角度度量更應(yīng)當(dāng)從用戶角度度量。這樣無(wú)論是灰度測(cè)試還是頻繁地版本迭代，甚至多個(gè)團(tuán)隊(duì)基于同一方向進(jìn)行的優(yōu)化競(jìng)爭(zhēng)，確立好的度量標(biāo)準(zhǔn)就如一把尺子，可以準(zhǔn)確客觀衡量出算法可為用戶體驗(yàn)帶來(lái)多少提升與優(yōu)化。

上圖右側(cè)餅狀圖展示了VIPKID用戶所反映的針對(duì)產(chǎn)品所提出的五大關(guān)鍵問(wèn)題（占比從高到低依次為：網(wǎng)絡(luò)問(wèn)題、設(shè)備問(wèn)題、行為問(wèn)題、軟件問(wèn)題與課件問(wèn)題）對(duì)于所有RTC開發(fā)者來(lái)說(shuō)，網(wǎng)絡(luò)問(wèn)題永遠(yuǎn)是一項(xiàng)最艱巨的挑戰(zhàn)；而當(dāng)用戶數(shù)量達(dá)到一定規(guī)模時(shí)，不同軟硬件平臺(tái)設(shè)備、不同版本的軟件適配問(wèn)題也將成為一項(xiàng)亟待解決的重要命題。而上圖左側(cè)展示了如果用戶為我們的一項(xiàng)服務(wù)給出差評(píng)，其給出差評(píng)所選出的主要理由：（畫面/聲音卡頓、聲音延時(shí)/畫面不同步、聲音不清晰與回聲嚴(yán)重）。需要注意的是由于用戶并非專業(yè)的開發(fā)者，這里沒(méi)有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)去衡量這些問(wèn)題。例如什么是“畫面卡頓”，有些用戶可能會(huì)將攝像頭故障等其他問(wèn)題歸類為”畫面卡頓“，這就需要我們基于大量的用戶數(shù)據(jù)進(jìn)行篩選清洗與分析從而盡可能找出用戶最關(guān)注的幾項(xiàng)痛點(diǎn)。在線教育屬于一個(gè)重度依賴音視頻技術(shù)的應(yīng)用場(chǎng)景，故其暴露出來(lái)的音視頻技術(shù)問(wèn)題也會(huì)很多。

2. 評(píng)價(jià)體系

既然存在如此多而復(fù)雜的用戶痛點(diǎn)，那么確立一套專業(yè)客觀精準(zhǔn)高效的音視頻用戶體驗(yàn)評(píng)價(jià)體系就變得尤為重要。

上圖表格展示了音視頻評(píng)價(jià)的多個(gè)維度，用以評(píng)價(jià)一節(jié)完整在線教育課程的用戶體驗(yàn)優(yōu)劣。首先在視頻方面，用戶對(duì)卡頓的感知最為敏感，而其統(tǒng)計(jì)方法主要是將幀與幀之間超過(guò)200ms的間隔視為一次卡頓，（卡頓時(shí)間/上課市場(chǎng)）=卡頓率，我們將5%作為引起用戶卡頓感的閾值，數(shù)據(jù)主要來(lái)自客戶端采集。視頻畫面的清晰度則主要使用MOS分作為評(píng)價(jià)標(biāo)準(zhǔn)，也就是從原始錄像中按照每分鐘1幀的方式抽取I幀圖像并為其清晰度賦予MOS分值，所得到的系統(tǒng)分值再與用戶的主觀感知評(píng)價(jià)進(jìn)行匹配，最終得到的分值如果低于3分那么我們就視該視頻畫面清晰度不佳。需要注意的是，這里的MOS分并非單純基于肉眼感知的畫面質(zhì)量，而是基于綜合視頻編碼與網(wǎng)絡(luò)傳輸?shù)膮?shù)，通過(guò)AI訓(xùn)練而成的一套算法為其賦分，數(shù)據(jù)主要通過(guò)錄制上課視頻得到。音頻方面，除了“清晰度”這樣一項(xiàng)常見(jiàn)的指標(biāo)之外，“聲音大小”是我們根據(jù)用戶反饋評(píng)價(jià)新增加的一項(xiàng)評(píng)價(jià)維度，這主要是因?yàn)樵S多用戶反饋上課時(shí)感覺(jué)聲音過(guò)大或者過(guò)小以至于聽(tīng)不清楚，發(fā)生這種情況多由于老師直播或錄制課程時(shí)離話筒距離不當(dāng)或錄制設(shè)備不佳，也有可能是用戶端的設(shè)置出現(xiàn)失誤。我們選取老師講話的部分并計(jì)算其音量是否合適，低于30分我們就認(rèn)為該片段聲音大小不符合用戶體驗(yàn)要求；而“清晰度”則依舊使用常見(jiàn)的MOS賦分的形式，利用程序給目標(biāo)錄像片段的音頻打分，低于3分我們認(rèn)為該片段的音頻清晰度不佳。以上是我們確立的針對(duì)在線教育所設(shè)計(jì)的一套完整評(píng)價(jià)維度，作為技術(shù)團(tuán)隊(duì)的KPI來(lái)使用。針對(duì)每一項(xiàng)，我們會(huì)有專門的團(tuán)隊(duì)負(fù)責(zé)優(yōu)化與改進(jìn)目標(biāo)維度對(duì)應(yīng)的算法與技術(shù)指標(biāo)，以實(shí)現(xiàn)最優(yōu)效果。2.1. 視頻卡頓率：卡頓率的定義如下：如果是1對(duì)1的視頻應(yīng)用場(chǎng)景，那么用戶卡頓率為用戶觀看時(shí)間內(nèi)幀與幀之間超過(guò)200ms的總時(shí)長(zhǎng)除以用戶觀看總時(shí)長(zhǎng)（課中用戶在線時(shí)長(zhǎng)）；而對(duì)于一對(duì)多的視頻場(chǎng)景，我們會(huì)統(tǒng)計(jì)卡頓用戶數(shù)占比也就是統(tǒng)計(jì)卡頓率大于等于5%的用戶數(shù)并將該數(shù)字除以總上課人數(shù)（也就是進(jìn)過(guò)教室10s以上的用戶數(shù)）。這里的200ms閾值其實(shí)算是一個(gè)比較嚴(yán)苛的標(biāo)準(zhǔn)，有一些互聯(lián)網(wǎng)公司會(huì)將該數(shù)值確定在600ms左右，我們這樣做是為了統(tǒng)計(jì)更多的卡頓案例并獲得更多的數(shù)據(jù)以便于我們進(jìn)行卡頓分析與研究，促使技術(shù)團(tuán)隊(duì)更出色地優(yōu)化卡頓。每一項(xiàng)指標(biāo)在確立的時(shí)候都與應(yīng)用場(chǎng)景強(qiáng)相關(guān)，這些指標(biāo)雖然都與技術(shù)相關(guān)但其和用戶主觀感知一一對(duì)應(yīng)。我們?yōu)榻y(tǒng)計(jì)到的卡頓情況作出了如下級(jí)別細(xì)分，其中遇到1、2級(jí)別卡頓情況的用戶占比約為5%，遇到3、4、5級(jí)別卡頓的用戶平均占比約為18%。這一數(shù)字在業(yè)內(nèi)屬于比較好的情況。

2.2. 視頻打分算法流程我們大概花費(fèi)了兩到三個(gè)月探索視頻打分算法，在初期我們閱讀了許多論文著作，發(fā)現(xiàn)業(yè)界還沒(méi)有很出色的無(wú)參考視頻打分算法。當(dāng)時(shí)也試驗(yàn)過(guò)其他廠商的比較成熟的算法也沒(méi)有達(dá)到理想的效果，直接用一張圖片訓(xùn)練無(wú)法實(shí)現(xiàn)收斂。于是我們嘗試換了一個(gè)方向，也就是從視頻編碼數(shù)據(jù)流當(dāng)中抽取一些參數(shù)例如GOP幀宏塊的大小，宏塊的個(gè)數(shù)、丟包個(gè)數(shù)等以形成訓(xùn)練數(shù)據(jù)集，隨后再使用該數(shù)據(jù)集訓(xùn)練打分算法模型。我們將得到的模型與人工標(biāo)記做對(duì)比，最終的效果符合我們的需求，和用戶主觀感知結(jié)果的匹配度大概在80%，該算法模型就固定下來(lái)并被我們用于后續(xù)的關(guān)鍵開發(fā)活動(dòng)當(dāng)中。

2.3. 特征提取特征提取的第一步是需要對(duì)文件進(jìn)行解析，我們的線上課程視頻文件基于不同的系統(tǒng)與格式，如mp4、flv、ts等等。再將原文件統(tǒng)一成H.264/H.265碼流之后，碼流解碼程序會(huì)解析得到解碼后的圖像序列，該圖像序列會(huì)被導(dǎo)入場(chǎng)景檢測(cè)程序以生成特征提取單元；特征提取單元會(huì)在接下來(lái)的流程中被篩選，系統(tǒng)判斷其是否超過(guò)最大序列長(zhǎng)度，如果未超過(guò)，那么該特征提取單元會(huì)被直接輸入特征提取程序以提取出有效特征；如果超過(guò)，那么該特征提取單元會(huì)被依據(jù)最大序列長(zhǎng)度做切分以生成符合序列長(zhǎng)度要求的多條特征提取單元，這些特征單元會(huì)被輸入特征提取程序以生成我們想要的特征數(shù)據(jù)。

2.4. 視頻訓(xùn)練的關(guān)鍵參數(shù)下圖展示了訓(xùn)練該算法模型所需要的幾項(xiàng)關(guān)鍵參數(shù)，其中包括宏塊個(gè)數(shù)、幀的類型、宏塊是否會(huì)丟包等。這一部分訓(xùn)練所消耗的算力資源是比較多的，如果想獲得比較出色的訓(xùn)練效果，服務(wù)端強(qiáng)大且可靠的硬件支持必不可少。
2.5. 聲音質(zhì)量P.563
從事音頻質(zhì)量評(píng)價(jià)的朋友應(yīng)該不會(huì)對(duì)該聲音質(zhì)量評(píng)價(jià)模型感到陌生，該算法模型于2004年被提出。無(wú)論是音頻還是視頻，所有全參考的打分算法在線上系統(tǒng)都是不可用的。我們無(wú)法直接調(diào)取發(fā)端和收端的數(shù)據(jù)套用全參考算法，故面對(duì)線上音視頻場(chǎng)景所使用的打分算法一定是單邊的無(wú)參考算法。P.563就是這樣一套可靠的單邊算法，其不依賴發(fā)端數(shù)據(jù)，僅需收端數(shù)據(jù)即可直接運(yùn)算得到評(píng)估分?jǐn)?shù)。大致流程如下圖中顯示的那樣：

首先，提取的原始數(shù)據(jù)會(huì)經(jīng)由預(yù)處理后進(jìn)行話音參數(shù)特征的提取與計(jì)算，所得到的參數(shù)會(huì)被歸類為多種失真類型，按照不同的失真類型選取對(duì)應(yīng)的話音質(zhì)量模型從而得到準(zhǔn)確客觀的MOS分?jǐn)?shù)。之前我們提到了評(píng)價(jià)維度里面有一項(xiàng)是音量大小，而P.563在預(yù)處理的過(guò)程中就會(huì)計(jì)算得到Active speech level adjustment這樣一個(gè)參數(shù)，我們將4ms幀長(zhǎng)下的Speech Level作為聲音大小，取值范圍是1～100，連續(xù)3幀以上超過(guò)閾值為不合格，反之則會(huì)被當(dāng)成背景噪聲過(guò)濾，從而我們得到了評(píng)估聲音質(zhì)量所需的所有關(guān)鍵評(píng)分。2.6. 質(zhì)量分析系統(tǒng)之前我們介紹了如何獲取算法，而在獲取到準(zhǔn)確算法之后，如何部署大批量的質(zhì)量分析與數(shù)據(jù)運(yùn)算便成了接下來(lái)的另一項(xiàng)關(guān)鍵命題，為解決該命題我們?cè)O(shè)計(jì)了一套支持全局任務(wù)調(diào)度的分布式質(zhì)量分析系統(tǒng)：接口層的HTTP接口與公司的BI系統(tǒng)對(duì)接，BI系統(tǒng)會(huì)下發(fā)質(zhì)量分析任務(wù)，由HTTP接口傳輸至任務(wù)生成層；任務(wù)生成層會(huì)根據(jù)上層所下發(fā)的任務(wù)清單合理進(jìn)行任務(wù)分配，以充分高效利用計(jì)算資源；分配結(jié)果傳遞至Job Server Node，Job Server Node會(huì)將任務(wù)真正下發(fā)至任務(wù)消費(fèi)層CmqaWorker系統(tǒng)，而每個(gè)Worker下層的Audio-quality-evaluation或Video-quality-evaluation等會(huì)實(shí)際執(zhí)行計(jì)算任務(wù)。在-quality-evaluation進(jìn)行評(píng)估計(jì)算時(shí)，CmqaCollector會(huì)收集相關(guān)數(shù)據(jù)并存儲(chǔ)到DBI，每一次任務(wù)分發(fā)時(shí)，Cmqa Master會(huì)從DBI當(dāng)中調(diào)取數(shù)據(jù)以獲知哪些計(jì)算資源是空閑的或者任務(wù)負(fù)載較低，以合理科學(xué)高效分配下發(fā)任務(wù)。該任務(wù)系統(tǒng)主要會(huì)在每天結(jié)束所有課程后的夜間22:00～次日08:00運(yùn)行以避免影響實(shí)時(shí)上課，當(dāng)然有些特殊數(shù)據(jù)需要在白天上課時(shí)同步進(jìn)行，所以整個(gè)系統(tǒng)一直處于24小時(shí)不間斷運(yùn)行狀態(tài)。

3. 質(zhì)量感知

3.1 海豚系統(tǒng)
我們將基于以上評(píng)價(jià)體系構(gòu)建的質(zhì)量感知系統(tǒng)成為“海豚系統(tǒng)”，該系統(tǒng)全天運(yùn)轉(zhuǎn)，用以感知整個(gè)基于在全球四十多個(gè)節(jié)點(diǎn)部署的超過(guò)一千五百多臺(tái)服務(wù)器的上課系統(tǒng)。通過(guò)該系統(tǒng)我們可以及時(shí)獲知那些節(jié)點(diǎn)出現(xiàn)異常，甚至精確到哪個(gè)用戶出現(xiàn)問(wèn)題。像VIPKID多為付費(fèi)產(chǎn)品，用戶對(duì)于產(chǎn)品體驗(yàn)的要求很高，我們必須提高所有技術(shù)標(biāo)準(zhǔn)并盡可能精確快速處理危機(jī)故障。整個(gè)質(zhì)量感知系統(tǒng)的架構(gòu)如下：首先底層的數(shù)據(jù)來(lái)源于SDK上報(bào)日志（音視頻的SDK，包括音頻視頻幀率、卡頓率、用戶所使用平臺(tái)版本、攝像頭數(shù)據(jù)等，其貢獻(xiàn)數(shù)據(jù)最多）、客戶端打點(diǎn)（用戶行為）、服務(wù)端日志（自建流媒體加速系統(tǒng)的流媒體服務(wù)、信令服務(wù)、工作狀態(tài)等）、BI數(shù)據(jù)與QOS數(shù)據(jù)（來(lái)自音視頻之外的其他數(shù)據(jù)），數(shù)據(jù)拉取與采集之后會(huì)進(jìn)行數(shù)據(jù)清洗，這些清洗好的結(jié)構(gòu)化數(shù)據(jù)會(huì)被賦予一定標(biāo)簽，繼而便于接下來(lái)的多維分析預(yù)處理數(shù)據(jù)，最后通過(guò)統(tǒng)一的數(shù)據(jù)接口將數(shù)據(jù)傳輸至分析與查詢服務(wù)系統(tǒng)。該系統(tǒng)由以下三大職責(zé)：標(biāo)簽系統(tǒng)和多維分析：便于精細(xì)化課程分析與快速響應(yīng)數(shù)據(jù)分析需求；實(shí)時(shí)預(yù)警：可以對(duì)動(dòng)態(tài)問(wèn)題與節(jié)點(diǎn)故障進(jìn)行預(yù)警；問(wèn)題挖掘：用于傳輸算法模型、產(chǎn)出智能覆蓋模型，同時(shí)挖掘問(wèn)題設(shè)備。

上圖展示的就是我們基于該質(zhì)量感知系統(tǒng)制作的實(shí)時(shí)監(jiān)控大盤。3.2 核心指標(biāo)下圖展示的核心指標(biāo)，用于實(shí)時(shí)課程質(zhì)量追蹤、問(wèn)題統(tǒng)計(jì)以及客戶端發(fā)版前后對(duì)比。所有課程的分析結(jié)果會(huì)產(chǎn)生標(biāo)簽，例如采集卡頓率數(shù)據(jù)，我們知道卡頓率和幀率是正相關(guān)的，正常的幀率為15FPS，但有些用戶的幀率為5FPS，這些就屬于遭遇卡頓問(wèn)題的用戶。每一節(jié)課都會(huì)被打上許多標(biāo)簽，而真正的問(wèn)題分析是通過(guò)分析某些標(biāo)簽突然異常變多或者這一節(jié)課出現(xiàn)多個(gè)異常標(biāo)簽，我們?cè)诙ㄎ粏?wèn)題時(shí)也是通過(guò)標(biāo)簽來(lái)確定。

3.3 實(shí)時(shí)指標(biāo)趨勢(shì)跟蹤下圖展示了實(shí)時(shí)指標(biāo)趨勢(shì)跟蹤，可以看到不同地區(qū)網(wǎng)絡(luò)覆蓋情況差異很大，這也是我們優(yōu)化調(diào)參的重要依據(jù)。

3.4 單節(jié)質(zhì)量追蹤下圖展示的是以時(shí)間作為緯度統(tǒng)計(jì)一節(jié)課的質(zhì)量變動(dòng)情況。對(duì)一節(jié)課關(guān)鍵性事件、上課過(guò)程中的質(zhì)量變化跟蹤、整節(jié)課的質(zhì)量評(píng)價(jià)，主要面向SDK研發(fā)、后端研發(fā)等業(yè)務(wù)人員。

3.5 排查問(wèn)題

房間的時(shí)間打點(diǎn)主要用于問(wèn)題追蹤與排查，并與用戶反饋相對(duì)應(yīng)

4. 總結(jié)

我們的整套系統(tǒng)還存在許多可以進(jìn)一步改進(jìn)的地方，例如基于錄制文件的評(píng)價(jià)標(biāo)準(zhǔn)不能完全體現(xiàn)下行質(zhì)量，課程量大了之后服務(wù)端計(jì)算資源消耗比較高，基于參數(shù)的視頻質(zhì)量評(píng)價(jià)算法和Codec類型相關(guān)，不同的碼流需要重新訓(xùn)練等等。這也是我們未來(lái)努力探索的方向。

LiveVideoStack?秋季招聘

LiveVideoStack正在招募編輯/記者/運(yùn)營(yíng)，與全球頂尖多媒體技術(shù)專家和LiveVideoStack年輕的伙伴一起，推動(dòng)多媒體技術(shù)生態(tài)發(fā)展。同時(shí)，也歡迎你利用業(yè)余時(shí)間、遠(yuǎn)程參與內(nèi)容生產(chǎn)。了解崗位信息請(qǐng)?jiān)贐OSS直聘上搜索“LiveVideoStack”，或通過(guò)微信“Tony_Bao_”與主編包研交流。

總結(jié)

以上是生活随笔為你收集整理的在线教育音视频质量评价与感知系统的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。