如何應對視頻直播中復雜多樣的用戶網(wǎng)絡環(huán)境，提高視頻服務質(zhì)量是各直播服務平臺面臨的一大難題。Twitch提出了一種無監(jiān)督學習的方法，全面評估用戶觀看時的行為與體驗，預測用戶的網(wǎng)絡狀況，通過碼率自適應的方法實現(xiàn)快速的迭代升級從而提高服務質(zhì)量。本文來自Twitch Principal Research Engineer沈悅時在LiveVideoStackCon 2018中的分享，并由LiveVideoStack整理而成。

文 / 沈悅時

整理 / LiveVideoStack

大家好，我是來自Twitch的沈悅時，接下來我將為大家介紹Twitch如何辨識用戶社區(qū)中繁復多樣網(wǎng)絡狀況，提高視頻服務質(zhì)量。實現(xiàn)理想的網(wǎng)絡狀況辨識我認為需要著重關(guān)注如何更好地描述用戶播放行為，以及如何高效發(fā)揮碼率自適應播放的全部威力。我們希望通過“魔鏡”項目將用戶觀看直播的體驗提升至新的高度。

1. Twitch是什么？

在正式分享開始之前，先為大家介紹一下Twitch——Twitch是中國市場以外最大的互動直播平臺。

直播內(nèi)容主要以游戲為主，當然也包括少量戶外或室內(nèi)直播。我們更側(cè)重于互動性較強的直播場景，需要借助低延時的互動直播技術(shù)在主播與用戶之間構(gòu)建雙向溝通交流的橋梁。在我看來，直播不僅僅用于觀賞，更陪伴用戶的生活，因此我們希望將Twitch打造成為一個供游戲愛好者聯(lián)系彼此的社區(qū)。

2. 碼率自適應播放的威力

?

言歸正傳，“魔鏡”項目亟需解決的用戶痛點是什么？在我看來，首先是提供一種更加全面的方法評估用戶觀看游戲直播的體驗，其次是發(fā)掘碼率自適應播放的威力，實現(xiàn)快速的迭代升級從而提高服務質(zhì)量與用戶滲透。

自適應碼率檢測與切換可以說是用戶期待已久的功能。早在2015年諸如YouTube這樣的視頻網(wǎng)站就實現(xiàn)了碼率自適應播放，具體原理為播放器根據(jù)后臺自動檢測獲取到的帶寬環(huán)境相關(guān)數(shù)據(jù)判斷帶寬質(zhì)量好壞，并針對不同帶寬質(zhì)量的用戶提供合適的視頻碼率與分辨率，如果網(wǎng)絡環(huán)境良好帶寬資源充足則為用戶播放全高清畫面，如果網(wǎng)絡環(huán)境一般帶寬資源緊張則會適當降低分辨率與碼率，播放質(zhì)量會隨著網(wǎng)絡環(huán)境動態(tài)變化。對一些處于弱網(wǎng)環(huán)境的用戶來說這是一項可保證播放流暢體驗的重要功能。

?

上圖展示了Reddit上有用戶對我們沒有在播放端集成碼率自適應播放功能提出意見，可以看到大部分特別是其網(wǎng)絡帶寬不好的用戶他們非常期待此項功能。由于中美兩國在網(wǎng)絡資源定價上的差異，美國的直播多使用H264或DASH以控制成本。這樣做的好處便是可同時實現(xiàn)ABR，通過將碼率切分的方式，播放器可根據(jù)網(wǎng)絡狀況動態(tài)切換。需要強調(diào)的是，點播的內(nèi)容早已在最終節(jié)點準備好，播放器可根據(jù)已知內(nèi)容信息作出較為合理的動態(tài)碼率控制決策；對于直播來說，由于其對低延遲的要求很高，尤其處于互動直播場景時，我們需要控制播放器緩存為一個較為合理的區(qū)間，如果緩存過大會對交互實時性產(chǎn)生不利影響。一般情況下點播需要的緩存為15～20秒，而對直播來說5秒就已經(jīng)算是非常大的緩存。Twitch的緩存約為2.5秒，較小的緩存雖然能降低延遲但也會造成錯誤發(fā)生的頻率提高，這對直播來說也是一項亟需攻堅的難題。

?

內(nèi)容是視頻生產(chǎn)環(huán)節(jié)最關(guān)鍵的元素，播放器需要偵測不斷更新的直播內(nèi)容與播放清單從而優(yōu)化ABR過程。2015年時學術(shù)界基本沒有將ABR技術(shù)用于直播場景的研究，因此從那時我便開始了對此領(lǐng)域的探索——如何將ABR技術(shù)應用于直播場景并實現(xiàn)良好效果？

?

2016年時我們做出了第一版Demo并進行了A/B測試，取得了令人滿意的結(jié)果。上面兩幅圖，橫坐標表示帶寬，從左往右遞增，縱坐標表示每一種碼率的分布情況；左側(cè)表示手動切換碼率而未使用ABR的測試結(jié)果，右側(cè)表示使用ABR自適應切換的測試結(jié)果。

從以上兩幅圖我們不難發(fā)現(xiàn)，不使用ABR的情況下用戶選擇碼率相當盲目，即便在帶寬資源充足時也會有相當一部分用戶選擇低清晰度的畫面觀看；碼率并未隨著帶寬變化調(diào)整到最適合的位置以為用戶呈現(xiàn)在此網(wǎng)絡環(huán)境下體驗最好的視頻服務，直接帶來的影響就是帶寬充足時低碼率造成畫質(zhì)劣化，帶寬緊缺時高碼率帶來播放卡頓。

而如果是使用ABR，可以看到ABR根據(jù)帶寬變化動態(tài)且精準地找到了每一項帶寬指標所能實現(xiàn)的最佳碼率，高帶寬條件下可以看到碼率也保持在一個較高水平，隨著帶寬的降低碼率也相應降低，并且每一帶寬都對應一個最佳碼率。可以說ABR準確地檢測用戶的帶寬并給用戶一個最佳碼率選擇，同時也將我們平臺的卡頓時間降低了7.4%，我們?yōu)榱私档涂D率需要斥巨資在全球部署數(shù)據(jù)中心，7.4%的卡頓降低可以說非常了不起。產(chǎn)品公測時，有49%的用戶選擇使用自適應碼率播放功能，其中有超過60%為帶寬低于1Mbps的用戶。

?

我們的自適應碼率功能于2017年3月在平臺全面上線。也許有人會問，為什么花了這么久的時間才上線此項服務，這就不得不講到我們對ABR產(chǎn)品漫長的調(diào)試與優(yōu)化過程。

3. 產(chǎn)品上線的痛點

?

產(chǎn)品初期A/B測期間我們收到了大量用戶反饋，這些反饋為我們調(diào)試優(yōu)化整套系統(tǒng)提供了頗具價值的參考信息。其中較為典型的就是有用戶反饋自適應碼率功能造成碼率與清晰度不斷頻繁切換，給正常的觀看體驗帶來的嚴重影響。這也為我們帶來了一定思考：這位用戶的網(wǎng)絡狀況所觸發(fā)的某種算法異常行為是小概率事件還是普遍現(xiàn)象？如何通過模擬這位用戶的網(wǎng)絡狀況妥善解決這項問題？

?

需要強調(diào)的是，雖然Twitch非常看重數(shù)據(jù)的價值，但我們更將用戶主觀感受擺在首要位置。一味相信數(shù)據(jù)而不考慮用戶主觀感受便會帶來像上面這樣的反饋問題。我們需要首先清楚針對不同的網(wǎng)絡環(huán)境，如何通過一套標準衡量體系對每位用戶的主觀感受做出準確判斷，從而規(guī)避單純的數(shù)據(jù)參考所帶來的對用戶體驗的忽視？

?

除了上述問題，我們在僅需A/B Test時也遇到了另一項問題：上圖表示平均帶寬利用率，左側(cè)黃線代表有ABR作用，綠色線代表無ABR作用。不難發(fā)現(xiàn)ABR算法僅可為網(wǎng)絡帶寬很高或很低的用戶帶來較為明顯的優(yōu)化效果，那么我們該如何進一步發(fā)揮ABR的價值？

4. 必須克服的“元無知”

為什么會出現(xiàn)上述這樣無法明確找到原因的問題？主要是由于網(wǎng)絡狀況復雜多變，匯總的服務質(zhì)量指標無法描述最終用戶的觀看體驗；而在研究算法時單純的實驗室仿真遠無法覆蓋現(xiàn)實當中各種復雜的網(wǎng)絡狀況，這也為利用算法優(yōu)化用戶體驗帶來了更大挑戰(zhàn)；最關(guān)鍵的原因在于可影響用戶主觀觀看體驗的因素太多，從網(wǎng)絡接入類型到網(wǎng)絡運營商，從用戶所在位置到最終節(jié)點服務器甚至骨干網(wǎng)的容量與性能等等，都可影響到用戶對于視頻畫面的主觀感受，而這些感受背后的微量信息我們只能通過用戶行為與主動反饋獲知，更增加了優(yōu)化的難度。

?

正因為上述這些亟待攻克的問題，導致我們A/B測試的部署周期十分冗長。雖然我們使用的測試策略就如上圖展示的那樣，屬于業(yè)界通用的測試策略，卻也用了很長一段時間才讓測試反饋的數(shù)據(jù)能夠指導我們進行更深次的優(yōu)化工作。

?

此時擺在我開發(fā)團隊面前一項重要的命題就是：有什么信息可以使我們加速整個流程？與以往從網(wǎng)絡狀況入手優(yōu)化算法的思路不同，我們嘗試通過研究用戶行為來確定觀眾觀看視頻時各方因素對主觀視覺體驗的影響。

5. “魔鏡”項目

?

這就是我們后來的工作重點——魔鏡項目

5.1 項目概要

?

魔鏡項目拋開了傳統(tǒng)的將卡頓率等網(wǎng)絡指標作為開發(fā)導向的思路，轉(zhuǎn)而將用戶播放行為作為指導開發(fā)與優(yōu)化的關(guān)鍵。我們嘗試構(gòu)建一套類似于”詞典“一般可檢測用戶行為并推測其背后體驗感受的指標體系，基于對播放行為的研究，首先我們定義對用戶而言最為理想的播放層架構(gòu)；有了理想的播放器模型，我們還需針對每個國家與地區(qū)所擁有的不同網(wǎng)絡狀況等外部因素調(diào)整播放器模型，并將特定的用戶播放行為映射至已構(gòu)建好的用戶典型播放行為“詞典”，同時重點分析特殊或單一播放行為的網(wǎng)絡狀況等參數(shù)并進行單獨優(yōu)化。

5.2 構(gòu)建“詞典“

?

構(gòu)建全網(wǎng)用戶的典型行為“詞典”，詳細來說第一步是收集大量Session的時間序列，其中包括碼率、卡頓等可反映網(wǎng)絡傳輸狀況的常規(guī)數(shù)據(jù)。當然這一步需要大量的人力物力用于數(shù)據(jù)收集、檢索、清洗等，可以說是成本昂貴。

?

接下來我們對每個國家、地區(qū)的時間序列做分群處理，得到各個區(qū)域的典型播放行為。其中的時間序列分群處理主要是以時間為橫坐標碼率為縱坐標構(gòu)建分群圖像，并基于全網(wǎng)所有用戶的播放行為與不同國家與地區(qū)用戶行為的典型共有特征，將所有時間序列進行聚合分類處理。具體來說，首先定義兩個采樣點（時間序列）之間的距離為Dynamic Time Warping，隨后對時間序列進行分類操作，從而規(guī)避對相似特征視頻序列的繁瑣分析。最終基于分組我們可以得到每一國家或地區(qū)的用戶典型的播放行為畫像，進一步把眾多區(qū)域的典型播放行為再做一個分群處理，從而得到全網(wǎng)用戶的典型播放行為“詞典”。

5.3 實踐中的發(fā)現(xiàn)

?

通過上述對用戶行為的系統(tǒng)性分析，我們有了一些可為自適應編碼的優(yōu)化提供指導的發(fā)現(xiàn)。積極的發(fā)現(xiàn)是全網(wǎng)用戶最典型的四種播放行為分別是：1080p60、720p60、720p30和480p30（或360p30）。碼率穩(wěn)定在以上幾種參數(shù)之間的播放行為基本不會受到卡頓的困擾。這說明我們的大多數(shù)用戶所體驗到的播放體驗是良好的，且ABR算法整體起到了至關(guān)重要的作用。

?

消極的發(fā)現(xiàn)便像上圖展示的那樣，個別用戶觀看的視頻會在1080p 60fps、720p 60fps與720p 30fps之間或720p 60fps、720p 30fps與480p 30fps之間頻繁切換。

?

極個別用戶更是會面臨最高碼率與卡頓之間頻繁切換的現(xiàn)象，可以想像此情形下用戶體驗一定非常糟糕。

以上是我們?yōu)槿W(wǎng)用戶構(gòu)建的20種最典型的播放行為“詞典”中的幾項，接下來我們需要將每個國家的播放行為映射至辭典中。

?

為每個國家或地區(qū)構(gòu)建特定的服務質(zhì)量指標，例如在墨西哥有超過50%的用戶觀看1080P，其中有0.3%的用戶遭受了從1080p60到卡頓的頻繁切換現(xiàn)象，貢獻了大于10%的卡頓時間；而由于網(wǎng)絡質(zhì)量較為出色，美國有超過83%的用戶可流暢觀看1080P60，中國臺灣則次于美國而優(yōu)于墨西哥。除了宏觀分析，我們也針對特定群體重點分析其行為與卡頓之間的關(guān)系，例如墨西哥中那0.3%的用戶究竟是具有什么特殊的播放行為，使其遭受了從1080p60到卡頓的頻繁切換，同時破壞了整體質(zhì)量指標的向好。

?

我們對這些用戶進行重點分析，發(fā)現(xiàn)這些用戶的帶寬下載量非常高，甚至超過20Mbps，但其響應時間卻很慢。具體來說就是當播放器向最終節(jié)點發(fā)送請求后需要很長時間才能收到第一個字節(jié)數(shù)據(jù)，但下載所占用的帶寬卻非常龐大。其原因可能是用戶離最終節(jié)點距離很遠或者雖然下載速度快但網(wǎng)絡響應的時間很長，而ABR并未將響應時間作為一項指標考慮在內(nèi)。給用戶帶來的直接影響便是如果用戶下載一個兩秒鐘的影片卻需要花費1.5秒鐘等待第一個字節(jié)數(shù)據(jù)的到達，最后0.5秒的時間無法下載完成片段，而此時ABR默認網(wǎng)絡狀況與下載速度滿足1080P的要求，此時就會出現(xiàn)頻繁的卡頓。這給我們的啟示是ABR算法需要針對一些特別的非常見網(wǎng)絡狀況作出優(yōu)化，才能根據(jù)網(wǎng)絡為用戶提供精確而自然的自適應碼率切換。

6. 總結(jié)與未來展望

Twitch作為一個布局全球，峰值在線觀眾高達近300萬的國際性互動直播平臺，所上線的ABR算法明顯提高了服務質(zhì)量與用戶滲透。想要進一步優(yōu)化最終用戶的觀看體驗，冗長的A/B測試周期與不夠細分的服務質(zhì)量指標是兩大亟需改進的瓶頸。這就是我們開發(fā)“魔鏡”項目的原因，也就是試圖通過大數(shù)據(jù)理解Twitch社區(qū)的典型播放行為從而尋找關(guān)鍵問題。未來我們希望進一步構(gòu)建網(wǎng)絡模型，從而在實驗室重現(xiàn)播放行為；同時把后臺的網(wǎng)絡事件與前臺的播放數(shù)據(jù)相關(guān)聯(lián)，從而實現(xiàn)更加出色的互動直播使用體驗。

LiveVideoStackCon 2019北京正在招募出品人和講師，無論你是技術(shù)派還是學術(shù)派，亦或是行業(yè)專家，無論你的團隊有多小，有多新，都可以來申請LiveVideoStackCon的講師或出品人。點擊【原文閱讀】了解更多大會相關(guān)信息。

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術(shù)人生

總結(jié)

以上是生活随笔為你收集整理的以“用户播放行为与体验”为核心的视频服务质量优化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。