Demuxed視頻工程師年會生產(chǎn)了來自Akamai、YouTube、Mux和其它許多人必看的演講內(nèi)容，資深多媒體技術(shù)咨詢師Jan Ozer對會議中感興趣的部分內(nèi)容進行了回顧與總結(jié)。LiveVideoStack對文章進行了翻譯。

文/ Jan Ozer

譯/ 元寶

原文?

http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Demuxed-18-Highlights-The-Future-of-Codecs-and-Compression-128609.aspx

Demuxed是由視頻工程師們舉辦的視頻工程師年會。該會議于10月17日和18日在舊金山舉行，共有31名演講者以快速的方式進行了演講，演講時間從10分鐘到30分鐘不等。用一個老套但恰當(dāng)?shù)谋扔?#xff0c;這種體驗就像從消防水管中喝水：幾乎不可能實時理解和消化。我參加了第一天的演講，并通過Twitch.tv上的視頻庫觀看了第二天的幾場演講。

總的來說，視頻是各主題的寶貴信息來源。在這個故事中，我將回顧一些我覺得最有趣的演講，這些演講顯然對我來說是獨一無二的。在瀏覽下面的列表之前，我強烈建議您回顧一下完整的演講者和主題列表（https://demuxed.com/）。你可能會發(fā)現(xiàn)除了下面我所討論的，還會想看更多的演講，這些演講都是按照演講順序列出的。

Demuxed 第一天

會議以Fubo.TV的Billy Romero和Thomas Symborski的一場名為“用HDR播放2018年FIFA世界杯”的演講下拉開帷幕。演習(xí)的目的是提供一個四級HEVC編碼階梯，范圍從2160p（16Mbps）到720p（3.5Mbps），全部采用HDR10 HDR元數(shù)據(jù)（圖1）。整個工作流程基于云，并涉及在AWS C5.18 X-Large實例上對云中的70 Mbps輸入源進行轉(zhuǎn)碼。

圖1.使用HDR10進行FIFA世界杯4K傳送時使用的實例詳細(xì)信息和編碼梯形圖。

在演講中，主持人為尋求產(chǎn)生類似體驗的視頻工程師提供了藍(lán)圖，涵蓋了采集，編碼器選擇，打包和存儲以及客戶端和播放器考慮因素的網(wǎng)絡(luò)設(shè)置，包括向亞馬遜Fire TV / Android TV，Roku，Chromecast Ultra和Apple TV設(shè)備提供使用ExoPlayer，AVF，Roku，Shaka和Bitmovin播放器的經(jīng)驗。最終，主持人建議與會者“快速失敗，快速學(xué)習(xí)，專注于用戶體驗”。

下一個演講是來自Mux的Ben Dodson和Nick Chadwick的“Per-Title(按標(biāo)題)編碼后要做什么”。在快節(jié)奏的演講中，Dodson和Chadwick回顧了Per-Title編碼的歷史，以及許多基礎(chǔ)理論和挑戰(zhàn)。然后，這對組合詳細(xì)說明了Mux如何使用機器學(xué)習(xí)構(gòu)建自己的Per-Title編碼工具，以及Per-Title編碼如何擴展到Per-Scene(按場景)編碼，從而支持實時的Per-Title編碼。這是一個密集且技術(shù)上具有挑戰(zhàn)性的演示文稿，任何一個設(shè)計Per-Title或Per-Scene編碼器的人都會發(fā)現(xiàn)它是無價的。

感知視頻質(zhì)量是我們工作的核心，Twitter的Sebastiaan Van Leuven的演講“移動設(shè)備的主觀視頻質(zhì)量評估”就直接解決了這個問題。在他十分鐘的演講中，Van Leuven首先回顧了兩種常用的測量視頻質(zhì)量的技術(shù)，單刺激和雙刺激平均意見得分（MOS）。簡而言之，單刺激顯示單個樣本并要求在五個等級上進行評級，而雙刺激顯示原始視頻然后是編碼樣本，并請求相似的等級。雖然易于部署，但兩種測試方法在精度和一致性方面得分都很低，不同的測試人員對同一視頻的評分和相同的測試人員在不同的日期對同一視頻進行評級。

為了提高一致性和可靠性，Twitter開發(fā)了一個自適應(yīng)配對比較（APC），它顯示兩個樣本，并詢問受試者哪個更好，就像驗光師問:“哪個看起來更好，左邊還是右邊?”這種測試方法可以產(chǎn)生更準(zhǔn)確和可重復(fù)性的結(jié)果，但也可能非常耗時。關(guān)于Twitter方法的新穎之處在于使用粒子濾波模擬的主動學(xué)習(xí)過程，該模擬簡化了樣本選擇。這個簡短的演講提供了一個概述，Van Leuven補充了一個博客文章的鏈接(https://blog.twitter.com/engineering/en_us/topics/insights/2018/videoqualityonmobile.html)。

使用dav1d加速AV1播放

開放媒體聯(lián)盟（AOM）AV1編解碼器于2018年中期推出，但硬件加速播放預(yù)計要到2020年中期才能實現(xiàn)。這使得軟件解碼器效率對于未來24個月的部署絕對至關(guān)重要。使用AOM解碼器libaom進行AV1解碼的許多初始測試，包括我自己的（http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/AV1-A-First-Look-127133.aspx），都表明AV1解碼速度慢且效率低下。出于這個原因，AOM贊助了由VideoLAN，VLC和FFmpeg社區(qū)開發(fā)的一種名為dav1d的新型開源AV1解碼器。

在他們的題為“引入dav1d”的演講中，“一個新的AV1解碼器”，VideoLAN的Jean-Baptiste Kempf和兩個Oriole的Ronald Bultje描述了該項目的目標(biāo)，包括更小的源代碼，更小的二進制可執(zhí)行文件，以及比libaom更小的運行時內(nèi)存占用。在演講中，Bultje回顧了迄今為止dav1d的性能，并預(yù)測完全實現(xiàn)后，它將產(chǎn)生與H.264，HEVC和VP9類似的解碼性能。雖然這與硬件支持的編解碼器的解碼效率不匹配，但它肯定會擴展AV1的使用范圍，遠(yuǎn)遠(yuǎn)超出libaom可以采用的范圍。根據(jù)這篇博客文章（http://www.jbkempf.com/blog/post/2018/Introducing-dav1d），dav1d目前適用于x86，x64，ARMv7，ARMv8硬件，可在Windows，Linux，macOS，Android和iOS上運行。

正如RealEye Media的David Hassoun在他的演講中指出的那樣，“多CDN跳轉(zhuǎn)開始，不要把所有比特放在一個籃子里”，使用單個CDN交付流量意味著一個單點故障，無論何時流交付是關(guān)鍵任務(wù)，這都是不可接受的風(fēng)險。正如Hassoun也提到的，單一的CDN也可能不能為許多用戶提供最好的體驗，也可能沒有成本效益。?

得出這些觀點后，Hassoun確定了使用多個CDN的常見問題，例如實時流的同步起源，流量路由，接收QoS和QoE的可操作的實時數(shù)據(jù)以及跨CDN訪問安全性。然后，他提出了這些問題的多個解決方案，以及如何構(gòu)建多個CDN支持，一直到清單文件的創(chuàng)建。在分配的十分鐘內(nèi)覆蓋了大量的內(nèi)容，對于任何考慮嘗試多個CDN交付的人來說，這個演示都是必須的(圖2)。

圖2.向動態(tài)主播放列表添加多個CDN支持。

減少Glass-to-Glass延遲?

Glass-to-Glass的延遲是許多現(xiàn)場活動制作人一直關(guān)注的問題。雖然有幾種專有方法可以減少實時延遲，例如Wowza Streaming Cloud的超低延遲服務(wù)，但這種方法可能無法滿足大型事件所需的規(guī)模。

Akamai的Will Law在他的演講題為“Chunky Monkey, Using Chunked-Encoded Chunked-Transferred CMAF to Bring Low Latency Live to Very Large Scale Audiences.”中全面描述了Chunked CMAF。圖3說明了這種方法。最重要的是傳遞分段的傳統(tǒng)方式，它一直等到它完全定型并存儲起來。底部顯示了以塊的形式打包的相同媒體樣本，可以在完整片段編碼和保存之前傳送，從而大大減少延遲。

圖3.頂部是完成后交付的單個段。在底部是相同的樣本打包在塊中交付chunk塊。

雖然這種方法可以減少延遲并簡化網(wǎng)絡(luò)吞吐量，但它也會引起許多問題，例如如何估算帶寬以及如何解決HLS和DASH之間的時序差異。Law討論了這些問題的不同解決方案，并總結(jié)了用于分塊CMAF的標(biāo)準(zhǔn)化工作，以及用于實現(xiàn)該方法的商業(yè)供應(yīng)商和開源工具。

最后一個演講是“Fabio Sonnati的'Time Machine'，'如何在回放過程中感知重構(gòu)編碼過程中丟失的部分細(xì)節(jié)。”作為背景，Sonnati是數(shù)字視頻編碼的先驅(qū)，其關(guān)于每個標(biāo)題編碼和FFmpeg的文章為包括我自己在內(nèi)的許多從業(yè)者提供了重要的基礎(chǔ)。這是我第一次親自見到Fabio并看到他講話。

在他的演講中，Sonnati探討了在播放過程中是否有可能重建壓縮過程中丟失的部分質(zhì)量。他首先確定了編碼過程中產(chǎn)生的經(jīng)典編碼偽像，其中包括精細(xì)細(xì)節(jié)和膠片顆粒的損失，條紋以及對比度和平面度的降低。鑒于我們知道這些發(fā)生，Sonnati詳細(xì)說明了我們?nèi)绾卧诮鈮哼^程中解決這些問題（圖4），并展示了幾個通過部署這些技術(shù)實現(xiàn)VMAF質(zhì)量顯著提高的實驗。

圖4.在解壓縮和顯示期間修復(fù)與編碼相關(guān)的問題。

在操作上，Sonnati聲稱這些增強功能可以在使用WebGL的現(xiàn)代瀏覽器中實現(xiàn)，包括在可以提供最大利益的移動設(shè)備上。但是，在廣泛部署之前，必須解決性能調(diào)優(yōu)和邏輯方面的考慮。

Demuxed第二天

如上所述，我只參加了會議的第一天，因此整天有兩個觀察來自存檔視頻，我主要關(guān)注與編碼相關(guān)的演講上。我觀看的第一個演講是Mux創(chuàng)始人Jon Dahl的演講題為“視頻，進化和引力：科學(xué)如何影響數(shù)字視頻”。正如標(biāo)題所示，Dahl探討了人類生理學(xué)和物理學(xué)如何為視頻編碼和制作的許多基礎(chǔ)做出貢獻，包括寬高比、幀速率和色彩管理。

在解決的眾多問題中，Dahl用“Jon’s Law”量化了為什么許多攝像師(包括這位作者)討厭垂直方向的視頻，“Jon’s Law”假定“垂直方向的適當(dāng)性隨著變化的數(shù)量呈指數(shù)級下降”。這就解釋了為什么在人像模式下拍攝的靜止圖像看起來如此棒，而體育賽事的垂直圖像片段看起來卻如此糟糕。最后，Dahl提出，所有的視頻制作者都可以從學(xué)習(xí)人類感知背后的科學(xué)中獲益，從而更好地指導(dǎo)他們的創(chuàng)造性和發(fā)展努力。

接下來是John Bartos關(guān)于低延遲HLS的演講，這是對Will Law關(guān)于分塊CMAF的討論的一個很好的補充。除了是JW Player的高級軟件工程師之外，Bartos還是開源播放器HLS.js的核心維護者之一，HLS.js是一個JavaScript HLS客戶端，它在瀏覽器中使用媒體源擴展來播放HLS和其他ABR格式。Bartos描述了他希望如何在不使用WebRTC或RTMP等技術(shù)“顛覆”視頻堆棧的情況下將HLS播放延遲從30秒減少到大約2秒。

簡而言之，低延遲HLS的工作原理是通過在清單文件中發(fā)布低延遲段，然后通過如上所述的Law的演講中的分塊傳輸編碼來傳輸它們。然后，服務(wù)器將分段塊從代碼轉(zhuǎn)換器推送到客戶端以進行回放。雖然這聽起來很簡單，但所需的代碼轉(zhuǎn)換器/服務(wù)器/客戶端集成使這項技術(shù)更好地通過標(biāo)準(zhǔn)實現(xiàn)，Bartos最后列出了一些參與創(chuàng)建低延遲HLS標(biāo)準(zhǔn)的公司。

我觀看的下一個環(huán)節(jié)是康卡斯特的Alex Gilardi，題為“在多幀率編碼中循環(huán)利用的優(yōu)點””。高級問題是，在生成編碼階梯時，大多數(shù)編碼器對每個層執(zhí)行某種程度的分析，這是一種浪費，因為源視頻對于所有層都是相同的。

在回收過程中，Galardi指的是在低分辨率編碼期間收集的分析信息，這些信息可以用于更高分辨率的編碼，圖5中的流程表明了這一點。在某些情況下，必須對較低分辨率的信息進行細(xì)化，以應(yīng)用于較高分辨率的文件，這一事實使這種回收復(fù)雜化。在他的演講中，Galardi討論了三種不同的改進方案，其中最快的一種在使用HEVC編解碼器編碼高分辨率文件時，速度提高了2.43x，而沒有質(zhì)量損失。請注意，雖然這種方法減少了編碼所花費的總CPU周期，但與并行編碼器相比，它會增加端到端延遲，因為較低分辨率的文件需要在較高分辨率的文件之前進行編碼。此模式使此方法對于實時編碼不切實際。

圖5.重用分析信息以加速編碼階梯的生成。

Comcast使用HEVC證明了這種方法，它也應(yīng)該適用于其他編解碼器，如AV1和VP9。在他的最后一張幻燈片中，Galardi包含了實現(xiàn)這種方法所必需的FFmpeg腳本，這無疑會簡化實驗。

部署主觀視頻質(zhì)量評估

引起我注意的下一個演講是來自英特爾的Vasavee Vijayaraghavan，他的演講題目是“衡量感知視頻質(zhì)量及其原因”。Vijayaraghavan首先描述了SSIM和PSNR等客觀指標(biāo)，它們是可自動化的，因此易于使用。然而，她指出，這些指標(biāo)往往與人類視覺系統(tǒng)不準(zhǔn)確相關(guān)，這限制了它們的效用。

相反，產(chǎn)生平均意見得分（MOS）的主觀評價是耗時和昂貴的，但卻是人類評級的最佳預(yù)測指標(biāo)。在英特爾進行的4K編碼測試中，Vijayaraghavan發(fā)現(xiàn)高于MOS等級4.5的分?jǐn)?shù)對于觀眾來說是難以察覺的，并且建議設(shè)置比特率以產(chǎn)生4.5或大約13 Mbps的最大MOS等級（圖6）。如下所示，與更高的數(shù)據(jù)速率編碼相比，這仍然帶來了非常顯著的帶寬節(jié)省。

圖6.英特爾發(fā)現(xiàn)高于4.5的MOS評級沒有產(chǎn)生明顯的改善。

在生產(chǎn)環(huán)境中，Vijayaraghavan建議通過從最常用的內(nèi)容類型中選擇有代表性的視頻，在不同的視頻質(zhì)量點進行編碼，并測量MOS分?jǐn)?shù)，實現(xiàn)每個類別的編碼方案。一旦確定了適當(dāng)?shù)淖畲笏俾?#xff0c;就可以創(chuàng)建適當(dāng)?shù)木幋a階梯，并將其應(yīng)用于該類別中的所有視頻。但是，她警告說，必須對每個內(nèi)容類別和編碼器/編解碼器分別執(zhí)行這種分析。

我觀看的最后一個演講是來自YouTube的Stephen Robertson，他本應(yīng)該講ABR在生產(chǎn)中的機器學(xué)習(xí)。然而，顯然，YouTube上的機器學(xué)習(xí)尚未投入生產(chǎn)，因此Robertson做了一個關(guān)于多個主題的巡回演講，包括在YouTube上實施機器學(xué)習(xí)的挑戰(zhàn)以及一些非常有趣的視頻質(zhì)量研究。

在更實際的層面上，他開始講述YouTube在10月中旬每秒分發(fā)大約1 GB的AV1編碼視頻，他預(yù)計到10月底它將增加到超過1 TB /秒。他確實分享說AV1不是最具成本效益的方法，但YouTube正在部署AV1，以表明他們對編解碼器“極其認(rèn)”并“致力于其成功”。

總體而言，各種主題和演講者使Demuxed成為所有視頻制作人的寶貴資源。同樣，我建議您瀏覽一下演講列表（https://demuxed.com/），看看是否有適合您實踐的演講。

精品文章推薦

技術(shù)趨勢：

• UDP成為低延時流媒體關(guān)鍵 選SRT還是QUIC？

• BBR如何讓Spotify流媒體更流暢？

• CMAF將在2019年得到快速發(fā)展

• YouTube高效傳輸策略：節(jié)省14%帶寬 用戶體驗提升

技術(shù)干貨：

• 騰訊視頻全網(wǎng)清晰度提升攻堅戰(zhàn)

• 熊貓TV直播H5播放器架構(gòu)探索

• 馮迅：YY多媒體實時傳輸系統(tǒng)演進

• 下一代低延時直播CDN：HLS、RTMP 與UDP +WebRTC

總結(jié)

以上是生活随笔為你收集整理的Demuxed：编解码器和压缩的未来的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。