复杂网络下多码率视频流切换关键技术
本文整理自LiveVideoStack線上分享第三季，第十二期，由京東云架構師張樹軍從基礎出發，為大家闡述多碼率視頻流切換技術的原理與實現方式，并結合京東云視頻云的實踐，分析多碼率幀對齊技術原理及其在多碼率自適應切換中的具體應用。
文/張樹軍
整理/LiveVideoStack
?
大家好，我是來自京東云的架構師張樹軍，畢業于天津大學，先后任職于中電華大、永新視博、網易，期間一直從事于視頻編解碼和流媒體開發和架構設計等工作。在2018年5月加入京東云，目前負責京東視頻云音視頻轉碼相關研發工作。
?
本次分享主要會從以下七個方面來分享京東云在做音視頻方面的心得體驗，首先會為大家介紹京東云為什么會做多碼率視頻流切換以及多碼率視頻流切換的應用場景，另外會講一下多碼率視頻流切換端到端的實現方式以及技術原理，然后會為大家介紹京東云在開發落地實踐過程中遇到的一些問題，希望以此給大家帶來一些啟發，最后會有京東云在下一階段要做的一些工作以及后續開展。
1. 深度編碼的多碼率視頻流切換及應用場景
?
?
研發團隊在最初接到多碼率切換的產品需求時，在很短的時間內實現了一版從端到端實現多碼率對齊、切換的解決方案，在對比了競品公開數據之后，團隊希望基于Codec角度去做一些深度編碼的多碼率對齊、切換工作。
?
多碼率切換的應用場景分為設備多樣性、網絡復雜性、多碼率流/文件對齊和多碼率自適應切換四個方面，
?
2. 端到端實現方式
經過團隊自研和調研之后，總結端到端的多碼率切換對齊有Segment對齊/切換、GOP對齊/切換和幀級對齊/切換三種方式，對齊相當于在sever端做內容生產時要生產出對齊的視頻直播流和點播文件，切換是指在客戶端如何做流級的切換和文件級的切換。
2.1?Segment對齊/切換
?
Segment對齊在sever端的處理，不論是視頻直播的流還是點播文件都需要多碼率的輸出，直播是多碼率的流輸出，點播需要有VOD多碼率的點播文件生成，Segment對齊方式對于sever端需要切出Segment的IDR，在切割位置做到時間戳PDF對齊，對Segment內部沒有要求。
?
?
Segment切換在播放端的處理，由上圖所示，play代表播放器，res1、res2代表不同的碼率，相當于多碼率的點播文件輸出。目前自動切換碼率的技術可以檢測用戶目前網絡的帶寬和設備的性能來判斷當前用戶適合哪種直播流或點播文件，在手動切換碼率時，用戶點擊切換碼率后首先要等待當前Segment播完才能夠切換到下一個Segment，這是由于Segment是IDR對齊的，可以獨立解碼，所以Segment存在的問題上Segment長度越長就越影響用戶切換碼率的時間和響應時間，用戶體驗會隨著Segment長度的增加而越來越差。
2.2?GOP對齊/切換
?
?
GOP對齊在sever端的處理，可以在sever端加GOP，將多個GOP打在一個Segment上，Segment內部也可以是IDR對齊，GOP對齊相對于Segment對齊要求更高一些，每個GOP之前都有一個IDR，并且同時需要滿足IDR和GOP 的對齊。
?
?
上圖表示在客戶端使用GOP切換的場景，每個GOP都是一個獨立的解碼單元，有一個IDR就可以獨立解碼，手動切換時會在當前GOP播放完成后播放切換碼率的GOP。GOP對齊的切換優勢相比Segment來說切換的時間要更短，因為GOP比Segment更小一級，而且基本上是最小的獨立解碼單元，用戶使用體驗要比Segment高一級。
2.3?幀級對齊/切換
?
幀級對齊在sever端的處理如上圖所示，假設用戶需要一個直播流或一個點播流，通過編碼輸出720P和540P兩檔碼率，它可以做到兩種碼率輸出后的每一幀對齊且每一幀的時間戳也對齊，相當于做到了最精細的對齊。
?
?
在客戶端如果要做到幀級切換，對應的幀級對齊的流切換方式如上圖所示，要做到幀級切換首先要做到對每一幀進行解碼，幀解碼要依賴于獨立的GOP數據，也就是說要做到幀級對齊，GOP是最基本的cache緩存，每個流中要緩存一個GOP cache，使得每個流都可以獨立解碼，解碼之后具體在display上顯示哪種碼率就可以根據切換命令來選擇，這樣做的優勢是可以做到幀級切換（靈活度更高的無感知切換），但對用戶終端消耗比較大。
2.4 切換方式對比
?
總結以上三種切換方式可以知道，Segment對齊就是最簡單的IDR對齊，對客戶端和serve端處理起來都很方便，缺點是切換速度較慢；GOP對齊在IDR中可以基于GOP做到更精細的對齊，切換速度比Segment對齊要快，但缺點是GOP固定，有人為因素干預編碼器編碼，質量有所下降；幀級切換由于是逐幀編碼，切換速度最快，但對用戶終端消耗比較大。
3. 技術原理
?
以點播舉例，點播一般都會做2-pass編碼，第一pass的數據肯定會給第二pass數據作參考使用，如果做點播多檔轉碼輸出，其實可以用其中一檔的mbtree等數據去指導其他檔的2-pass轉碼輸出,可以做到各檔次幀類型和時間戳均對齊，而且其他檔的1-pass編碼都可以省略，但由于其他檔都是以參考檔的1-pass數據去指導2-pass轉碼輸出，因此輸出質量并不是最優的，只有去參考自身的1-pass數據才能得到最優的編碼質量。
京東云在此基礎上改進了轉碼流程，增加了上圖中紫色部分的模塊（縮放W*H，特定YUV），保證lookahead輸出的每一幀數據在多檔輸出統一一致，這樣就可以保證無論直播還是點播，在各檔次流或者文件輸出時每一幀的picture type和時間戳都是對齊的。
3.1?數據損失評估
?
上述工作是為了達到幀&時間戳對齊的目的所做的工作，但還是要評估加上這些模塊后對數據所造成的損失，因此團隊做了有關數據損失的對比實驗。使用默認的幀決策和指定的模塊去干預lookahead輸出的幀決策，分別使用4K測試集合1080P測試集作bdrate實驗，bdrate為負表示同等質量下不對齊編碼比對齊編碼節省的碼率百分比，bdrate越接近0表示對齊編碼影響越小。最后對比數據的結果還在接受范圍內，可證明改進方案是可行的。
3.2 直播對齊同步機制
?
在直播場景可以將點播邏輯直接拿來用，優化之前的直播對齊方案如上圖所示，由于兩個拉流的時間點和數據都不一樣，所以在場景切換前無法做到對齊，在場景切換部分之后多檔直播流就可以做到對齊，但如果有些場景切換特別長，對齊的這部分也會被拉長，直接會影響到直播體驗，從功能上來講也不是大家都認可的對齊。
因此京東云在直播對齊中將場景切換提前，引入一些同步的機制，在拉流的過程中做一些同步信息加入到流中，這個操作不會影響轉碼效果，一旦收到同步信息每條轉碼流可以在一個時間點插入I幀對齊，這樣比沒有加對齊同步機制的方法在體驗上和功能滿足性方面都有很大提升。
4. 實踐落地中的挑戰
?
京東云在實踐落地時也遇到過一些問題，第一點，保證Lookahead數據一致性，同時Lookahead數據一致性也是對齊的前提，之后的picture type幀決策才能一致，后續做點播與直播相對也會變得容易，另外縮放算法必須保持一致，不同的縮放方式會導致數據產生差異;第二點，由于在方法中引入了額外的圖像數據，這些數據一定要配合編碼器的內存預分配機制，以上兩點是在sever端需要關注的問題。在客戶端方面，IDR幀一定是I幀，但I幀并不一定是IDR幀，IDR幀就是即時解碼刷新幀，一旦遇到IDR幀所有之前的數據都被清掉，重新開始進入解碼環節，不需要參考之前的reference參考幀，但I幀后面的數據可以跳過I幀再往前去參考之前的I幀，所以收到I幀之后去解碼容易出現解碼花屏。
5. 展望&總結
?
關于后期的展望，還有一些相關工作要去完善，比如支持變幀率對齊可行性、支持終端幀級別切換可行性、支持直播1.5pass可行性和優化lookahead冗余計算@1pass。
?
?
最后簡單總結下本次分享，直播點播的多碼率對齊中最關鍵的技術是引入同步各檔次lookahead幀決策的工作，通過這些可以指導各檔輸出的picture type幀類型和時間戳一致，在直播的多碼率對齊上京東云做了一些同步的工作，提升直播多碼率對齊的使用體驗。客戶端切換目前是基于幀對齊的直播流切換，但目前還是以GOP為主的切換，后期會對其做一些幀級的深度優化。
LiveVideoStack? 招募
LiveVideoStack正在招募編輯/記者/運營，與全球頂尖多媒體技術專家和LiveVideoStack年輕的伙伴一起，推動多媒體技術生態發展。同時，也歡迎你利用業余時間、遠程參與內容生產。了解崗位信息請在BOSS直聘上搜索“LiveVideoStack”，或通過微信“Tony_Bao_”與主編包研交流。
LiveVideoStackCon 2019北京 音視頻技術大會最新日程現已上線，掃描圖中二維碼或點擊【閱讀原文】了解大會最新日程。
總結
以上是生活随笔為你收集整理的复杂网络下多码率视频流切换关键技术的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【专场】揭秘端到端视频技术
- 下一篇： 倒计时3天：3D音带你起飞