VVC怎么了？
翻譯?| 姜金元
編輯 | Alex
技術審校 | 張昊、楊海濤
本文來自OTTVerse，作者為Jan Ozer。
影音探索#006#——VVC
聊聊VVC
VVC作為國際標準于2020年7月首次發布，現在時間已經過去了18個月，讓我們來看看VVC迄今為止的進展（包括許可、性能、芯片開發和測試等）。
VVC專利所有人
追求視頻質量固然很好，但這個世界是靠金錢運轉起來的，所以讓我們從這里開始吧。我們需要知道的是，VVC此類視頻壓縮標準將擁有與新功能相關的獨特專利，但也會包含源自以前標準（如HEVC和H.264）的專利。表1來源于2021年3月發表的一篇文章[1]中的HEVC和VVC專利所有者列表。
作者之后在iPlytics[2]上更新了與VVC相關的專利所有者的信息，我們注意到有一些重要的、僅持有VVC專利的所有者并沒有在表1中列出。然而，綜合HEVC和VVC專利貢獻以及表1中的專利貢獻百分比將有助于進行粗略分析與討論，但不足以給出權威性論斷。
我想指出的是，盡管Apple沒有在表1中列出，但它擁有大約350項與VVC相關的專利[3]，加上Apple可能已收購的其他專利[4]，說明它在VVC上進行了大量投資。
我知道，Apple已加入AOM聯盟，在該組織成立27個月后，它成為了其“創始”成員之一，它顯然不是盲目追隨其他公司。正如CanIUse[5]中所詳述的那樣，由于Safari/Mac、Safari iOS和Apple TV不支持AV1，目前為止Apple已在AV1兼容性方面明顯落后于其他公司。同時，Apple是唯一提供基于瀏覽器訪問HEVC（與AV1直接競爭編解碼標準）的主要平臺[6]。
表1中還有其他AOM的成員公司，包括騰訊、英特爾、Netflix和三星。因此，至少就這些公司而言，不應該將AOM成員資格解釋為反VVC。
表1? HEVC和VVC專利的所有權百分比
雖然已經可以從表1看出來，但我還是要補充幾點。首先，請注意表中企業的多樣性和規模。顯然，其中每一個企業都對VVC進行了大量投資，并且都有很大動力確保其成功。例如，表2顯示了2020年第二季度至2021年第三季度的全球智能手機芯片市場份額。如你所見，表2中列出的大多數公司在表1中專利占比都非常高，尤其是高通、華為和聯發科。
表2? 2020年第二季度至2021年第三季度全球智能手機芯片市場份額
根據這些數據，你會預測所有這些公司都會認真考慮在它們未來的芯片中支持VVC（其中聯發科已經這樣做了）。我們在下面的實現部分會詳細說明。
其次，如果你將所有百分比（包括iPlytics所顯示的大部分公司）加起來，會發現它們的總和超過1。我不確定為什么會這樣，但我相信會有一個明確的解釋。另外請注意，在表中列出的兩個專利池的專利所有者中（我們在下文會討論），HEVC Advance占到了24.38%，而MPEG LA則為0。如果你查看iPlytics另一個PPT，會發現幾個主要擁有VVC標準專利的公司機構并未在表1中列出，但已經加入兩個專利池中的一個（盡管表1中未涵蓋的所有權百分比相對較小）。
當然，表1中顯示的所有專利都未提交給任何一個專利池，所以目前還處在早期階段。盡管如此，當你在專利池中獲得許可時，專利費用應該與許可提供的專利技術相對應。也就是說，Access Advance專利池提供了更多的專利技術，這也代表了更高的專利費用。
接下來，我們來看看兩個專利池。
VVC專利池
顧名思義，專利池是指專利所有者團體聯合起來為其專利提供聯合許可。專利池簡化了技術實現者獲取該技術的過程；實現者可以簽署一份涵蓋專利池中所有專利所有者的許可，而不是與每個為標準貢獻技術的專利所有者簽署單獨的許可。專利池僅轉讓池內專利的使用權，因此如果有多個專利池，實現者將必須從所有專利池中獲得許可，并與不在池中的專利所有者達成協議。
雖然努力勸說VVC專利所有者組建一個專利池[7]，但最終還是出現了兩個。Access Advance專利池是最先啟動的[8]，它的專利費用結構[9]取決于多種因素，包括是否符合許可、是否選擇展示Access Advance商標以及是否從Access Advance同時獲得VVC和HEVC許可。圖3顯示了價格最低的費率；請注意分類、分類下的專利費用、分類年度上限和總體上限。
圖3? Access Advance的專利費率
Access Advance還為同時獲得VVC和HEVC許可的公司提供MCBA (Multi-Codec Bridging Agreement)。正如新聞[10]中所提到的，獲得VVC和HEVC許可并簽署MCBA的公司，其同時使用VVC和HEVC專利的產品將享受45%的專利折扣，與僅使用VVC的產品花費的專利費相同。可以查看Access Advance VVC專利池中的專利所有者列表[11]。
MPEG LA于2022年1月公布了相關條款和專利所有者列表[12]，圖4中展示的相關條款可以在這里查看[13]。如你所見，硬件和付費軟件以及瀏覽器等免費軟件有著不同的專利費用。對于那些不熟悉拉丁語的人來說，de minimus指的是低于這些數量，則無需支付版稅。你可以查看注釋中給出的鏈接[13]來獲取更多有關專利費用上限的詳細信息。
圖4? MPEG LA VVC條款
作為對比，許多技術（如Wi-Fi和蜂窩標準等）都擁有兩個或多個專利池和一些像高通這樣的重要專利所有者——它們更愿意直接成為許可人而不是加入專利池。因此，形成VVC專利許可肯定利大于弊。與HEVC相比，如果真有什么“弊端”的話，那就是這些專利池的合并速度更快，并且其中的條款應該更容易被潛在的被許可人所接受。雖然某些沒有加入專利池的專利所有者確實會造成不確定性，但基于兩個專利池都宣布了條款這一事實表明VVC現在已開始向商業開放。
現在你已經對VVC專利費用有所了解，下面讓我們看下它的性能。
性能
我曾為_Streaming Media_雜志評估了Fraunhofer的VVC編解碼器[14]，表4顯示了最主要的質量對比。在這里，讀者應該注意區分編解碼器和視頻編碼標準。VVC是一個標準，Fraunhofer的VVenC編解碼器是該標準的一種實現，就像是其他編解碼器是對應標準的實現一樣，無論是HEVC、H.264、EVC還是AV1，皆是如此。
使用VMAF指標對這些編碼器進行對比后，我發現Fraunhofer的VVenC編碼器在效率上比Libaom-AV1提高了大約5.55%；它與使用XEVE開源編碼器的EVC的Main profile對比，效率僅提高2.36%。稍后你會看到，莫斯科國立大學得到了截然不同的結果。
圖5 多種編解碼器實現的 VMAF BD-Rate
我在配備3.4 GHz Intel i7-3770 CPU、16GB RAM 、4個內核和8個線程并啟用HTT的HP工作站上進行了編碼時間的測試。VVenC以實時播放66倍的時間進行編碼，相比之下，very slow檔位配置的x265為33倍，CPU使用配置為3的Libaom-AV為34倍，very slow檔位配置的x264為7倍。可見，VVenC編碼速度基本符合預期。
在同一臺計算機上的播放測試中，Fraunhofer的VVC解碼器達到了39fps，而AV1為357fps，HEVC為388fps。在我看來，這將使得VVC被歸類為硬件編解碼器，這意味著（我預測）大多數發行商不會在目前的平臺上使用軟件播放（因為性能不佳、電池壽命或兩者兼而有之的問題）。當然，VVC 不會在沒有硬件支持的智能電視或類似設備上進行播放。請注意，下面討論的一些編解碼器的實現研究展示了非常出色的播放性能，許多人很可能因此重新思考這個結論了。
莫斯科國立大學（MSU）VVC質量比較
在這份MSU報告[15]中，莫斯科國立大學的團隊研究了多種AV1、VVC、HEVC和 H.264的編解碼器，下表顯示了它們使用YUV 4:1:1 SSIM指標進行對比的結果，在免費報告中也提供了其他指標對比的結果（付費報告中還有更多對比結果）。解釋一下評分機制，MSU將作為參照的x265編碼器性能設置為100%，然后將其他編解碼器與此進行對比得出評分。
圖6 莫斯科國立大學基準對比
你會注意到，MSU測試中， VVenC在壓縮性能上僅比x265提升了2%，但我的測試發現VVenC提升了43%。盡管我們的測試方法完全不同，而且我使用VMAF而不是SSIM作為對比指標，但這個結果仍然非常令人驚訝。我在測試期間向Fraunhofer咨詢了產生這種差異的原因，但他們也無法提供解釋。
MSU還發現，華為的HW266編碼器的壓縮性能比x265提升了50%，阿里巴巴的S266_V1 VVC編碼器壓縮性能比x265提升了大約47%，騰訊的編碼器則提升了大約41%。華為的VVC編碼器比最高效的AV1實現（騰訊 VAV1）提升了約20%的壓縮效率。
盡管我們以不同的方式進行實驗對比，但兩項研究都表明：VVC與HEVC相比，效率得到了實質性的提升（大約43%～59%），而VVC與AV1相比，收益明顯減少了（只提升了大約5%～20%）。
開發活動
2022年1月，來自Microsoft的Gary Sullivan（同時也是開發VVC的聯合視頻專家團隊的創始聯席主席）撰寫了一份題為《VVC標準部署狀態》的文件，詳細介紹了圍繞VVC的開發活動。這是一個信息寶庫，你可以在此處下載[16]，下面介紹的大部分內容也是從該文檔中獲取的。
硬件實現是交付時間最長的項目，至今并沒有幾家公司公開其硬件編解碼器產品計劃。以下是我們所知道的：
-
2021年11月，聯發科發布了Pentonic 2000[17]，該公司稱其是第一款支持VVC/H.266的商用8K電視芯片，并進一步表示該芯片將支持杜比視界（Dolby Vision），且配備該芯片的智能電視預計于2022年在全球市場推出。
-
2021年7月，Allegro宣布其AL-D320視頻解碼器半導體IP Core支持最新的VVC/H.266格式[18]。根據發布的消息，解碼器可立即供SoC廠商集成，因此在此部署之后，才能使用帶有解碼器的實際芯片。
-
8K協會在NAB（National Association of Broadcasters，美國廣播協會）上發現了支持VVC播放功能的TCL智能電視，但解碼器芯片等細節尚不清楚。
-
請注意，高通的Snapdragon 8 Gen 2芯片將很可能支持AV1，但沒有提及VVC。
聯發科預計配置了Pentonic 2000的電視將在2022年上市，TCL已經實現了這一預測。但即使有更多制造商能生產此類電視，大量支持VVC的電視仍需要經歷數年時間才能吸引到獨立發行商（比如沒有VVC專利的發行商）。即使能夠吸引到發行商，感覺高通、博通和英特爾等VVC專利所有者也有可能通過不加速各自芯片對VVC的支持而抑制VVC的發展。
以下表格包含了Sullivan文檔中列出的其他一些VVC實現：
VVC實現
軟件解碼
如果VVC確實需要硬件在計算機上進行全幀播放，以及在移動設備上全幀、省電播放，那么它的采用將會推遲2~3年。因此，與軟件播放相關的測試會特別有趣。
根據快手的一項研究[16]顯示（這里研究人員專注于Android平臺，因為他們平臺上80~90%的觀看來自Android手機），通過測試App用戶上傳的1280×720視頻，研究人員在Android機（單線程）上達到了97.49 fps的運行速度，在iPhone 12（單線程）上達到了249fps的運行速度。
圖7? Android手機上令人印象深刻的播放性能
字節跳動的研究人員使用GPU和CPU混合解碼來測試他們的解碼器，并在基于M1的Mac和iPhone 13上實現了比實時播放4K視頻更快的速度（如圖8所示）。
這些結果的有趣之處在于，TikTok等流行平臺對VVC的應用如何加速VVC編解碼器的硬件支持，特別是當發行商將一些增強功能（如更高分辨率的視頻）與VVC編解碼器支持聯系在一起。例如，YouTube最終說服Apple支持VP9（通過將所有大于1080p的視頻流編碼為VP9或AV1）。
雖然我仍然懷疑任何獨立發行商會在電池供電的設備上部署VVC來進行純軟件播放，但這些結果卻令人驚訝。你將看到，表1中包含的所有公司都將更積極地部署VVC，就像YouTube、Meta和Netflix部署AV1一樣。
圖8 在iPhone 13上實現比實時播放4K 8比特視頻更快的速度
支持瀏覽器和電視
VVC軟件播放的最大問題很可能就是它的軟件支持了。Windows或Android平臺上的Chrome、Firefox或Edge中不支持HEVC，所以它從未在基于瀏覽器的播放上取得突破。發行商可以采取一些變通辦法，比如使用特定的視頻播放器，但隨之而來的是專利費用問題。如果你擁有一個移動App，你可以使用任何你喜歡的編解碼器，但除頭部流媒體服務提供商外的其他公司很難做此選擇。看，又是專利費用在作怪。
在進入市場將近8年，HEVC依然未能在瀏覽器播放上占據一席之地，但在電視播放Premium Content（優質內容）方面卻取得了巨大成功。VVC也很可能在此領域大展身手，但還需要再等上2~3年。類似地，請注意VVC和LCEVC已經包含在巴西最近的TV 3.0 項目[19]中了，而且VVC（連同AV1和 AVS3）也將包含在即將推出的歐洲電視機標準DVB中[20]。
為了完整起見，我應該指出，VVC還為VR和AR應用（未來幾年這些應用將融合在一起）帶來了獨特的增強功能。
下面是我的想法：
-
VVC的貢獻者包括許多非常重要的公司，他們對VVC進行了大量投資，并對其成功產生了重要的激勵作用。和AOM的成員一樣，它們為VVC的部署和成功開辟了可觀的市場。
-
VVC的效率應該比HEVC高50%左右，比AV1高10～20%。
-
VVC很可能會在快手、字節跳動和騰訊等利益相關的公司中得到早期應用，就像AV1在YouTube、Meta和Netflix中的應用一樣。
-
在傳統的流媒體市場中，VVC可能會模仿HEVC，大量應用在電視播放的場景，而對基于瀏覽器的播放幾乎沒有應用。也就是說，可能需要 2～3年，具有VVC播放功能的電視機安裝數量不斷增加，這樣才能吸引獨立發行商。
-
VVC 似乎在VR和AR方面處于早期技術領先地位。
最后，當我們談論起在交付組合中添加另一個編解碼器，感覺就像撥動開關一樣簡單，然而事實并非如此。帶寬成本的急劇下降已經大大降低了支持更高效編解碼器帶來的經濟效益。可參考文章
Computing Break even on Codec Developments[21]。
出于這個原因，大多數新編解碼器的部署似乎都是在它們支持新市場或發生急劇變化的需求時發生的，例如支持4K和HDR編碼的HEVC。Premium Content的發行商會從HEVC切換到VVC以節省50%的帶寬嗎？至少在未來2～3年內我都對此持懷疑態度。另一方面，如果AR/VR真的廣泛流行起來，并且對VVC的支持成為了“入場券”，那我們將有可能看到VVC的大規模采用和部署。
圖9? 受訪者計劃在2022年支持的編解碼器，來自Bitmovin Video Developer 報告
最后，我需要指出，Bitmovin Video Developer報告[22]中有20%的受訪者計劃在2022年支持VVC，略低于AV1的22%和HEVC的25%（如圖9）。Rethink Technology的另一份報告[23]也非常樂觀地認為VVC將從2023年中開始獲得支持。就Bitmovin報告中的一些數字而言，其中對VVC的預測可能對流媒體生態系統中的公司很有意義，這些公司需要加大編碼、發行、監控和播放的力度，但這些預測對實際的內容發行商來說感覺卻是非常激進的。
注釋：
[1] https://www.iam-media.com/who-leading-the-vvc-technology-race
[2] https://www.iplytics.com/webinar/slides-video-unpacking-vvc-seps-standards-contribution-data/
[3] 詳情參見演示ppt中的第42頁，相關鏈接：https://www.iplytics.com/webinar/slides-video-unpacking-vvc-seps-standards-contribution-data/
[4] https://streaminglearningcenter.com/codecs/when-a-butterfly-flaps-its-wings-in-cupertino-vvcs-success-may-be-assured.html
[5] https://caniuse.com/?search=av1
[6] https://caniuse.com/?search=HEVC
[7] https://www.streamingmedia.com/Articles/News/Online-Video-News/VVC-Patent-Pools-And-Then-There-Were-Two-144949.aspx
[8] https://accessadvance.com/2021/07/01/access-advance-launches-vvc-h-266-video-patent-pool/
[9] https://accessadvance.com/vvc-advance-patent-pool-royalty-rates-summary/
[10] https://accessadvance.com/2021/07/01/access-advance-launches-vvc-h-266-video-patent-pool/
[11] https://accessadvance.com/vvc-advance-patent-pool-list-of-licensors/
[12] https://www.mpegla.com/programs/vvc/licensors/
[13] https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=151163
[14] https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=150729
[15] https://www.compression.ru/video/codec_comparison/2021/main_report.html#buy
[16] https://jvet-experts.org/doc_end_user/documents/25_teleconference/wg11/jvet-y0021-v3.zip （如無法打開鏈接，可轉至原文網頁下載）
[17] https://www.prnewswire.com/news-releases/mediatek-announces-new-pentonic-smart-tv-family-with-new-pentonic-2000-for-flagship-8k-120hz-tvs-301428273.html
[18] https://www.allegrodvt.com/allegro-dvt-launches-the-worlds-first-vvch-266-decoder-silicon-ip/
[19] https://forumsbtvd.org.br/tv3_0/
[20] https://dvb.org/wp-content/uploads/2021/09/dvbscene-58.pdf
[21] https://ottverse.com/computing-break-even-on-codec-deployments/
[22] https://bitmovin.com/top-video-technology-trends/
[23] https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=146648
致謝：
本文已獲得作者Jan Ozer授權發布，特此感謝。
原文鏈接：https://ottverse.com/vvc-versatile-video-coding-progress-update-trials/
總結
- 上一篇： 査勇：华为云在视频AI转码领域的技术实践
- 下一篇： C++中类的6个默认成员函数