基于鏡頭的編碼比基于主題的編碼帶來更高的編碼效率，由于對內容感知的粒度更加細，這種改變的結果顯而易見。然而，更細粒度的編碼也會帶來更高的負責度，比如在AWS環境中，在基礎設施服務失效的情況下，如何最大限度的保留已編碼的成果，從而減少重復編碼工作。本文來自Netflix的科技博客，LiveVideoStack對原文進行了摘譯。

文 / Megha Manohara，Anush Moorthy，Jan De Cock，Ioannis Katsavounidis, Anne Aaron

譯 / 元寶

原文 ： https://medium.com/netflix-techblog/optimized-shot-based-encodes-now-streaming-4b9464204830

當您正在從Netflix上收看的最喜愛的電視節目或電影時，糟糕的畫質——如成塊狀，模糊，扭曲的臉部和物體 ，會讓你不想再看下去。在很多情況下，低帶寬網絡或數據限流導致我們接受不了完美的圖像。為了解決這個問題，Netflix視頻算法團隊一直在研究更高效的壓縮算法，來讓Netflix能夠在使用更少帶寬的同時提供相同或更好的圖像質量。在Netflix與其他研究團隊一起工作時，為了支持新的視頻流和確保Netflix設備的無縫播放，我們更新了客戶端應用程序和流媒體基礎設施。

為了改善我們的會員的視頻質量，我們在2015年開發并部署了“按主題”編碼，在隨后一年提供了更好的“用于移動端下載的編碼”。我們的下一步是制作一個基于鏡頭的編碼框架，稱為動態優化器，從而在視頻流中實現更細粒度的優化。在本文中，我們將介紹一些我們在實現將此框架應用在生產流程時克服的困難，還有介紹為我們的會員改善視頻質量后的實際效果。

在生產環境中實現動態優化器

動態優化器分析整個視頻是通過多個質量和分辨率點來獲得編碼的最佳壓縮軌跡，并給出優化目標。特別地，我們利用Netflix的主觀視頻質量度量VMAF作為我們的優化目標，因為我們的目標是以最佳感知質量生成流的。

我們在生產中實現動態優化器框架時遇到的主要挑戰是對我們的“并行編碼管道”進行了改進，以處理更多的編碼單元。首先，動態優化器的分析步驟需要以不同的分辨率和質量（QP）進行編碼，這需要更多的復雜度。其次，我們從大約幾分鐘長的編碼視頻塊轉換到基于每個鏡頭的視頻編碼。例如，在原始系統中，一個1小時的《怪物奇語》片段會產生20個3分鐘的塊。使用基于鏡頭的編碼，平均鏡頭長度為4秒，同一片段要求處理900個鏡頭。假設每個塊對應一個鏡頭（圖1B），新框架將每塊編碼的標題數量增加了兩個數量級以上。這會增大與計算實例之間傳遞的消息數量有關的系統Oracle數據庫。為了解決這些限制，我們進行了幾項工程創新，我們在這里討論了其中的兩個：校對和檢查點。

盡管我們可以改進核心消息傳遞系統來處理這種消息量的增加，但這并不是當時最可行和最方便的解決方案。我們通過引入校對來改編我們的管道。

圖1：將鏡頭整理成“塊”。（A） 視頻時間線的表示。黑色虛線表示鏡頭邊界。（B） 一個塊中的一個鏡頭：每個鏡頭被分配一個塊。（C）將鏡頭分類為塊：在目標塊持續時間內累積整數鏡頭數。

在“校對”中，我們將鏡頭整理在一起，以便一組連續的鏡頭組成一個塊。現在，考慮到我們在這種排序方式上的靈活性，我們可以將整數個鏡頭組合在一起，以便在基于塊的編碼模型下產生與之前大致相同的3分鐘持續時間的塊（圖1C ）。這些塊可以被配置為大致相同的大小，這有助于為以前調優的實例進行資源分配，這些實例可以在幾分鐘內進行編碼。在每個塊中，計算實例用它自己的一組定義參數獨立編碼每個鏡頭。

?圖2：檢查點

通過在一個塊中整理獨立編碼的鏡頭來改進系統，我們稱之為檢查點。以前，如果我們丟失了一個計算實例（因為我們已經借用了它但突然需要執行更高優先級的任務），我們重新編碼了整個塊。在拍攝的情況下，每個鏡頭都是獨立編碼的。一旦完成一個鏡頭，如果實例在對塊的其余部分進行編碼時丟失，則不需要重新編碼。我們創建了一個檢查點系統（圖2），以確保每個編碼鏡頭和相關元數據在結束后立即存儲。現在，如果在另一個計算實例上重試相同的塊，那么編碼不會從頭開始，而是從其中斷的位置開始，從而節省計算量。

壓縮性能

2016年12月，我們推出了用于移動端下載的AVCHi-Mobile和VP9-Mobile。對于這些移動端編碼，一些變化使得壓縮性能優于每個主題編碼，包括更長的GOP，靈活的編碼器設置和每個塊的優化。這些數據流是傳統速率控制設置的H.264 / AVC和VP9編碼的高質量基準。

下圖（圖3）演示了動態優化與基于鏡頭編碼的組合如何進一步提高壓縮效率。我們繪制了我們新優化編碼的比特率VMAF曲線，稱為VP9-Opt和AVCHi-Opt，與

--用于下載的按塊編碼（VP9-Mobile和AVCHi-Mobile）

--按主題編碼流（AVCMain）。

為了構建這個圖表，我們從我們的目錄中抽取了數千個標題的樣本。對于每個比特率x（水平軸上）以及每個標題，我們選擇比特率≤x 的最高質量編碼（由VMAF的值表示）。然后，我們對給定x的所有標題求平均VMAF值，這為下圖中的每條曲線提供了一個點。掃描所有比特率值x，得到5條曲線，對應于上面討論的5種編碼類型。假設網絡條件穩定，這是您在Netflix服務中以特定視頻帶寬獲得的平均VMAF質量。

圖3：按主題，按塊和新優化編碼的壓縮效率。

讓我們通過在VMAF = 80（良好質量）下繪制水平線來說明等效質量下比特率的降低，這給出了以下比特率：

我們可以看到，與使用AVCMain進行的按主題編碼相比，經過優化的編碼需要不到一半的比特數來實現相同的質量。使用VP9-Opt，我們可以在AVCMain的三分之一比特數以下流傳輸相同的質量。與AVCHi-Mobile和VP9-Mobile相比，我們分別節省17％和30％。

我們還研究了在相同的帶寬下視覺質量如何受到影響。例如，250 kbps的平均蜂窩連接帶寬下的平均VMAF值如下表所示。可以看出優化后的編碼比AVCMain提供了明顯更好的視頻質量。

為了說明視覺質量的差異，下面的例子顯示了Chef's Table片段中的一個幀圖像，分別從大約250kbps比特率的不同編碼方式中獲得。顯而易見，圖紋理的質量提高了（如磚，樹，巖石，水等）。在AVCMain（圖4A，VMAF = 58）和AVCHi-Opt（圖4B，VMAF = 73）之間能觀察到視覺上明顯的差異。VP9-Opt幀（圖4C，VMAF = 79）看起來最清晰。

圖4 (A): AVCMain, 250 kbps, VMAF=58.

圖4 (B): AVCHi-Opt, 254 kbps, VMAF=73.

圖4 (C): VP9-Opt, 248 kbps, VMAF=79.

在下面的例子中，我們顯示了一張“13 Reasons Why”的開場景，分別以大約250 kbps的碼率的不同編碼方式得到。對于AVCMain（圖5A），頂部的文本幾乎不清晰，值得VMAF值為60.對于AVCHi-Opt（圖5B），我們看到質量大幅跳躍到74的VMAF值。對于VP9 -Opt（圖5C），文字和邊緣變得清楚，并且在質量上顯著增加，這也反映在81的VMAF值中。

Figure 5: (A) AVCMain, 260 kbps, VMAF=60; (B) AVCHi-Opt, 257 kbps, VMAF=74; (C) VP9-Opt, 252 kbps, VMAF=81.

現場測試優化的編碼

在前面的章節中，我們說明了優化后的編碼比按主題編碼有更高的壓縮效率，從而可以在相同的比特率下提高質量，或在相同質量下降低比特率。但問題在于這是否會為我們會員提供的更好體驗。

在實際中部署任何新的編碼算法之前，我們在不同平臺和設備上的使用“A/B testing”來全面地驗證流的可播放性。“A/B testing”為我們提供了一種可控的方式來比較處理單元（我們的新編碼）與控制單元（現有經驗）的體驗質量（QoE）。我們通過運行A / B測試，將我們優化的編碼與現有的AVCMain流式體驗在各種設備和標題上相比較。這也使我們能夠對不同平臺的編碼算法和自適應流引擎進行微調。

我們評估了優化編碼對不同QoE指標的影響。根據A/B testing的結果，我們期望對會員的觀看體驗進行以下改進：

--對于低帶寬連接的會員，我們將以相同（甚至更低）的比特率提供更高質量的視頻。

--對于具有高帶寬連接的會員，我們將以較低的比特率提供相同的優質服務。

--當網絡吞吐量急劇下降時，許多會員將遇到更少的緩沖和質量下降。

--支持VP9流的設備將以相同的比特率獲得更高的視頻質量。

此外，我們的許多會員的手機套餐都有數據量上限。使用新的優化編碼，這些成員現在可以使用相同數量的數據以相同或更高的質量傳輸更長時間的Netflix視頻。優化的編碼也可用于我們的離線下載功能。對于可下載的視頻，我們的會員可以在相同存儲空間上獲得更高質量視頻。

重新編碼和設備支持

在過去的幾個月中，我們為整個Netflix的產品都生成了AVCHi-Opt編碼，并開始在多個平臺上進行流式傳輸。在iOS，Android，PS4和XBox One上觀看Netflix時，您目前可以享受這些優化的視頻流。VP9-Opt流可用于選擇流行內容，并可在某些Android設備上進行流式傳輸。我們正在積極在其他設備和瀏覽器上測試這些新流。

無論您是使用最快速的寬帶連接觀看智能電視上的Chef's Table，還是使用蜂窩網絡在移動設備上觀看Jessica Jones，Netflix都致力于提供盡可能最佳的圖像質量。新優化編碼的推出是結合創新研究，有效的跨團隊研究和數據驅動部署，為我們的會員帶來更好體驗的絕佳范例。

LiveVideoStackCon 2018講師招募

LiveVideoStackCon 2018是音視頻技術領域的綜合技術大會，今年是在10月19-20日在北京舉行。大會共設立18個專題，預計邀請超過80位技術專家。如果你在某一領域獨當一面，歡迎申請成為LiveVideoStackCon 2018的講師，讓你的經驗幫到更多人，你可以通過speaker@livevideostack.com提交演講信息。了解大會更多詳情，點擊【閱讀原文】訪問LiveVideoStackCon 2018官網，報名即刻享受7折優惠。

為了讓參會者與大會講師更多互動交流，我們推出了LiveVideoStackCon講師熱身分享第一季，在每周四晚19:30，邀請1名大會講師進行線上分享技術干貨，解答熱點問題。你可以通過以下方式參與：

• 關注LiveVideoStack公眾號【?livevideostack 】

• 回復“熱身”，即可獲得進入直播群的方式

6月28日晚19:30，我們將邀請英特爾資深軟件開發工程師趙軍進行第一期分享《FFmpeg加速那些事兒》，作為應用最廣泛的多媒體處理工具，FFmpeg幾乎是每個多媒體開發者的必備工具。但在高并發等生產環境下，FFmpeg性能往往不高，需要做特定的優化，趙軍將會從“軟”和“硬”兩個層面介紹FFmpeg優化的經驗，期待您的參與。

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的基于镜头的编码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。