今年的NAB2019上，資深編解碼技術專家Jan Ozer采訪了Twitch的首席研工程師沈悅時博士，沈博士從編解碼器的角度討論了Twitch對于視頻新技術的實踐與探索，同時介紹了Twitch未來五年在流媒體技術戰略方面的布局。他認為，五年后Twitch的頭部以及尾部內容將100%使用AV1編碼。

文 / Jan Ozer

譯 / 郭俊翔

原文

https://www.streamingmedia.com/Articles/Editorial/Featured-Articles/NAB-2019-Twitch-Talks-VP9-AV1-and-its-Five-Year-Encoding-Roadmap-131163.aspx?from=timeline?

Jan Ozer：大家好，我是Jan Ozer。這次我們非常榮幸地請到了Twitch首席研發工程師沈悅時，接下來我們將從編解碼器的角度討論Twitch的研發工作?？偹苤?#xff0c;視頻編解碼器是一個日新月異的領域。你好，悅時，歡迎你的到來。

沈悅時：非常感謝Jan。大家好，我是來自Twitch的悅時。Twitch是一個以電子競技與游戲直播內容為主的直播流媒體平臺，根據twitchtracker.com的公開信息，高峰時我們有14萬個直播頻道，而在線觀眾的峰值是400萬。由于我們是一個互動直播的平臺，所以我們對編解碼的低延遲要求很高。同時我們擁有一個龐大的主播社群，直播頻道根據受歡迎程度來講分為頭部和長尾兩大板塊。對于頭部主播，我們下個月將部署基于VP9的流媒體直播，等未來生態AV1系統逐漸成熟后，我們會考慮同時傳輸x264、VP9與AV1格式。由于觀眾規模巨大，對于頭部內容，同時支持多種視頻編碼器格式是負擔得起的：雖然這樣做會增加編解碼成本，但流量費用的節省使得我們能夠實現總體凈成本的降低。另一方面，對于低觀看率的長尾頻道而言，我們只能為它們提供單一格式的流媒體服務，而我們目前長尾頻道的編碼策略是使用高密度硬件H.264編碼的解決方案。但是，我們希望到2024年或2025年，屆時AV1生態系統會完全就緒，而那時我們也會實現Twitch平臺的百分百AV1化。

Jan Ozer：你說的是2024或2025年嗎？

沈悅時：是的，這是我們根據對整個工業界的了解而做的預測。但另一方面，正如我所說，我們希望在2022-2023年實現對頭部內容率先部署AV1格式，同時保持AV1與H.264的雙格式流媒體傳輸。對于長尾內容，我們則是希望五年以后，整個生態里所有的設備都支持AV1，屆時我們的直播頻道無論頭部還是長尾都將會百分百切換至AV1。

Jan Ozer：所以Twitch是一個以互聯網直播為主的視頻平臺。你說的頭部內容是指用戶觀看次數最多的直播內容？

沈悅時：是的。比如電子競技內容和頭部主播頻道 。

Jan Ozer：好的，所以你們最近一直在考慮轉用VP9，用的是硬件編碼、軟件編碼還是二者兼具？

沈悅時：這是一個非常好的問題。我們的著眼點是如何實現VP9的高壓縮效率，因此我們現如今使用的VP9編碼器是基于FPGA的。而至于軟件編碼，我們的評估結果是至今為止還沒有足夠的數據讓我們相信軟編可以提供類似FPGA的壓縮效率。順帶說一句，我們對于實時編碼器壓縮效率的參考標準是x264 median，對于VP9的期望值是至少能實現25%的碼率節省，同時我們下一代的VP9編碼器是計劃能實現35%的碼率節省。?

Jan Ozer：好的，您是說使用FPGA編碼器生成的VP9 流媒體，在相同畫質的前提下，其碼率相對x264 median降低了25％？

沈悅時：沒錯，就是這么回事。

Jan Ozer：好的，同時這是為了實時編碼傳輸嗎？

沈悅時：是的，是為了直播的應用。

Jan Ozer：這到是讓我想起我們倆幾個月前有一個很有趣的、關于你們作為一個直播大平臺、對于VBR和CBR利弊的討論。 你能不能詳細解釋一下你從一個直播平臺的角度，對于VBR與CBR的看法？

沈悅時：好的。先解釋一下，Twitch平臺是基于我們的私有CDN，也就是說我們有自己的骨干網，以及分發、邊緣服務器，同時也和眾多ISP有peering的合同?；谖覀兊膶嶋H操作，我們并不歡迎VBR，原因是在于我們通常向ISP預定一個帶寬，我們稱之為“管道”。 如果視頻是VBR的，我們很難計算應該將多少觀眾放在這個管道里，從而導致我們的服務質量變得不可控。我們直播的情形和點播是截然不同的，點播是不同的觀眾在同一時間觀看不同的內容，而直播則是不同的觀眾在同一時間觀看相同的內容，所以說VBR會混淆我們的觀眾分配系統，讓我們計算不出在某一個管道里應該放多少觀眾 。

Jan Ozer：通過你的解釋，大家對你們平臺在觀眾方的架構有所了解了 。換個話題，對于主播方，你們是從游戲玩家那里獲得一路原始音視頻流，然后為轉碼成多個碼率，那你們的碼率階梯是什么樣的？

沈悅時：是，目前我們接受的原始視頻流是1080p 60FPS。

Jan Ozer：碼率是多少？

沈悅時：碼率取決于主播的上行帶寬，通常在6～8.5Mbps之間。然后我們將會轉碼成720p 60FPS 3Mbps、720p 30FPS 2Mbps，直到160p 200Kbps。

Jan Ozer：好的，那你對客觀畫質指標有什么看法？你使用哪些指標，對哪些指標是你比較有信心？

沈悅時：好的，這是一個非常好的課題，其實我們現在正進行一些這方面的研究。在現階段，我們是綜合PSNR、SSIM與VMAF考量客觀質量，不過我們暫時還是最依賴是我和我同事的主觀評測，也就是我們的眼睛。當然PSNR是可以給了我們一些的參考，它能發現一些明顯的編碼錯誤，但一半以上的質量評測仍然依賴于我們的眼睛。

Jan Ozer：好的。昨天我與一位大OTT公司的的編解碼工程師討論了如何對于編碼梯度中不同的碼率選用不同的編碼參數，他的觀點是對于更低的碼率采取降低噪音甚至降低清晰度的編碼策略。你們是不是也有相關的研究？

沈悅時：這是確實是一個非常有趣的研究領域，但囿于條件，實際上我們并不嘗試對編碼做圖像預處理。

Jan Ozer：我的讀者大部分沒有你的技術水平，肯定也沒有像我采訪的那位專家（編者按，Jan說的那位專家是亞馬遜視頻的Ben Waggoner，專著”Compression for Great Vid-eo and Audio: Master Tips and Common Sense”的作者）的技術水品。我們大多數人包括我自己對于編碼器設置停留在僅僅選擇x264 preset的階段，當然x264 preset本身是包含了很多參數的組合。但是有一個有趣的想法是去研究x264每個具體的設置，比方說低分辯率和1080p或者720p會有不同的要求，畢竟低分辯率的視頻是事先做過很多縮放處理的。對此你有什么看法？

沈悅時：關于這一點，我想我們需要在評估此項優化的投資回報率之后才能給出準確的答案。于此同時，實際上我們平臺的大多數觀眾觀看視頻是1080p 60FPS。

Jan Ozer：沒錯。

沈悅時：我暫時沒有開發此項編碼器優化的投資回報率數據。

Jan Ozer：那你談到你們平臺絕大多數的觀眾觀看1080p 60FPS，你能告訴我具體的比例嗎， 比如是95％還是62％？

沈悅時：我腦海中暫時并沒有一個明確的數字，但我可以保證這個比例一定超過50％，當然這是要視地區而定的，像美國這樣有比較好的互聯網環境的地區比例一定更高。

Jan Ozer：除了美國之外，你們的主營市場還有哪些？這些國家與地區的占比又是什么情況？

沈悅時：亞太地區是我們十分重視的市場，如新加坡、韓國等都擁有非常不錯的網絡傳輸條件。而像拉美、東歐等地區，盡管寬帶條件相對較差，也有超過50％的觀眾觀看1080p 60FPS的視頻。當然，在美國與西歐地區，這個比例會更高。

Jan Ozer：原來如此，這可能就是你們并沒有太大動力在優化低碼率音視頻流傳輸上投入過多資源的原因。

沈悅時：是的，不過我們實際上也做了一些關于低碼率傳輸的優化工作。比如說我們之前的160p檔是500Kbps，我們通過優化音頻碼率降低了整個160p檔的碼率。

Jan Ozer：你有PSNR、SSIM或VMAF的推薦參數嗎？

沈悅時：抱歉，這需要視內容而定，我暫時并不想推薦某些絕對的數值。

Jan Ozer：好的，非常感謝沈悅時接受我們的采訪，希望您與Twitch能夠在未來大展宏圖。

沈悅時：好的，非常感謝您。

LiveVideoStack? 招募

LiveVideoStack正在招募編輯/記者/運營，與全球頂尖多媒及技術專家和LiveVideoStack年輕的伙伴一起，推動多媒體技術生態發展。了解崗位信息請在BOSS直聘上搜索“LiveVideoStack”，或通過微信“Tony_Bao_”與主編包研交流。

LiveVideoStackCon 2019北京正在招募講師，無論你是技術派還是學術派，亦或是行業專家，無論你的團隊有多小、有多新，都可以來申請成為LiveVideoStackCon的講師。點擊【閱讀原文】了解更多大會相關信息。

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的Twitch未来五年的视频编码战略：从H.264到 AV1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。