論文來源：2020 IEEE?Digital Object Identififier

概要：為了全方位探索不同色彩通道之間的相似度，本文面向AVS3標準提出了一種跨分量預測方法PMC作為一種新的色度幀內預測模式。這種預測模式復雜度低靈活性強。它重用并改革了傳統的兩部跨分量預測模式（TSCPM模式）。此外，PMC的雙預測方式也增強了預測效率。實驗結果顯示PMC模式在AVS3的參考軟件HPM6.0上測試，在自然場景序列上分別帶來了0.32%、1.60%和2.39%的性能提升，在SCC場景下帶來了0.91%、2.24%和2.82%的性能提升。AVS3標準已經采納了PMC的子模式。

Introduction

YCbCr是視頻編解碼領域中非常普遍的色彩空間，并且在能量壓縮（Energy Compaction）上展示出了非常強大的優勢。不同色彩通道之間也存在一些相關性。早在HEVC的研發過程中，跨分量線性模型（CCLM）就已經被提出過，其旨在利用最小二乘回歸（LSR）建立一個鄰近重建亮度像素和色度像素之間的線性模型。然而由于CCLM方法中的依賴關系對硬件并不友好，HEVC的main profile中并沒有包括CCLM，而是在range extension profile中，殘差域的CCLM被應用于YUV444格式的序列壓縮[8]，從而有效地保真、提升壓縮性能。CCLM的有效性使得在VVC和AVS3標準的研究中，用基于下采樣的線性推導去促進其在編解碼器中的硬件實現[3][9]。

考慮到自然場景下的序列的色彩和問題的多樣性，簡單的線性模型或許不足夠去捕捉亮色度之間的關系。這里列舉了幾個提升跨分量預測性能的工作：

[10]提出了一個基于多個線性模型的CCLM，根據亮度的強度對參考樣本進行分類并且推導出多個線性預測模型，從而提高預測精確度。在這種方式下，亮色度之間的映射變成了不連續的線性映射。此外還針對YUV420格式的序列采用了多種降采樣濾波器，以找出最佳的亮色度對應關系。 基于多假設原理，CCLM方式還跟幀內角度模式結合起來。由于物體有可能橫跨CU的邊界，因此三種CCLM模式，即LM-L（只利用正左方的樣本）、LM-A（只利用正上方的樣本）、LM-O（利用右上角和左下角的樣本）[11]，并由RDO決定采用哪種模式。為了補償線性模式推導中的不好的情況，[12]提出一種模型校正方案。[13]還提出自適應Cr預測方案，CR可以用亮度預測、也可以用Cb預測、也可以用亮度和Cb的加權來預測。由于線性模型是以更復雜的方式導出的，不可忽視的計算負擔被強加到編碼器和解碼器。除了這些傳統的練速度映射方案，[14]提出一種基于神經網絡的跨分量預測方案，鄰近重建亮色度對和對應的重建亮度像素被輸入到網絡當中，得出一種更精確的映射關系，可以提升2%~3%的色度BDrate節省。不過這種方法的計算復雜度也是非常高，達到了不能容忍的程度。

現存的AVS3和VVC標準里的的跨分量預測方案聚焦于消除亮度與Cb分量、亮度與Cr分量之間的冗余，而沒有考慮三個通道之間的冗余。圖1和圖2展示了這種現象。根據圖1(e)-(g)，可以在任意兩個顏色通道之間觀察到近似的線性關系。在圖2中，有趣的是，Y-Cb和Y-Cr之間的線性相關性較弱，而Cb和Cr之間的線性相關性較強。這促使我們利用三個通道之間的相關性來提高跨成分預測的效率。

?本文提出了PMC，是會議論文[15]的延伸。主要區別如下：1）提出雙預測方式，充分發掘三個通道之間的相互關系和相似性，從而利用Cr的重建像素和亮度通道一起預測Cb通道。2）在進行第三分量的預測時，提供了多個參數集來平衡不同分量的權重。如此以來，一共支持12個PMC模式。加權參數集是基于TSCPM預測塊的統計模型去設計的。3）更多的實驗結果證明了該方法的性能和效率，包括在低比特率編碼場景和模式使用中的性能。與其他現有的跨分量預測增強工作不同，本文提出的PMC模式是根據現有的TSCPM線性模型是我重用和改革，因此計算復雜度非常低。目前AVS3標準已經采納了PMC模式。

色度幀內預測模式

亮度通道包含了主要的結構信息，而色度通道相對來說就比較平均。一般來說，人眼對結構類細膩更為敏感，因此亮度通道會被預測地更為精細。亮度通道的幀內模式有66種，可以捕捉到更多多樣化的紋理方向信息。相反，色度塊的幀內預測模式只有DC、planar、水平豎直、DM和三種CCLM模式（AVS3中是TSCMP模式）。其中，DM模式是基于“色度編碼的紋理方向與亮度編碼相似”的假設，從而使亮度幀內模式在色度通道中被重用。因此DM模式相當于是在模式級別祛除了冗余，節省了表達模式flag的編碼比特數。

TSCPM模式意圖消除亮色度之間信號級別的冗余，TSCPM使得色度塊可以從重建亮度像素塊中線性地預測出信號。對于YUV420格式，參考的亮度樣本需要降采樣至于色度樣本的尺寸對齊。線性預測需要的參數α和β不是顯示傳遞給解碼端的，而是通過重建亮度-色度像素對傳遞的。TSCPM的工作流程圖圖如3所示。TSCPM跟CCLM的區別主要在于線性變換和亮度重建像素下采樣的順序上，CCLM方案中，線性變換應用于下采樣后的亮度重建像素，而在TSCPM中，首先對亮度重建像素進行線性變換，然后再對預測的色度像素進行下采樣。此外，根據鄰域像素是否可用的情況，TSCPM也分為三種模式，即TSCPM-LT（左方和上方的像素都可用）、TSCPM-L（只有左方像素可用）和TSCPM-T（只有上方像素可用）。

?為了促進CCLM和TSCPM可以在軟硬件上的實現，線性模型的推導過程被簡化[3]，大大減小了計算復雜度。具體來說就是用固定位置上最多四個鄰近亮色度像素樣本對去計算線性模型的參數。四個像素對根據亮度像素大小被分成了最大的兩和最小的兩組，最大的兩組用和表示，最小的兩組用和表示。然后線性模型的參數α和β就可以通過公式(1)和(2)表示。

?

提出的PMC模式

與TSCPM利用colocated亮度重建塊去預測色度塊不同，我們提出的方法利用重建信號作為亮度信號和任意一個色度信號去預測第三通道，統攝設計了雙預測路線和多種加權參數集，是我們工作[15]的延伸。

文獻[13]和[14]已經探索過了類似的防范，不過他們的計算復雜度非常高，尤其是在解碼端，推導預測模型的過程非常復雜，大大阻礙（impede）了相關技術的實際應用。我們提出的PMC模式可以用相當小的復雜度與現有的TSCPM模式無縫協作（seamlessly collaborating with）。

PMC模型的建立

聚焦于使信號預測地更準確，我們提出用重建亮度像素塊和的重建像素塊一起預測的重建像素，如公式(3)所示，其中f表示亮度下采樣操作，下采樣濾波器與TSCPM中一致。A、B和γ表示模型參數。

?仿照TSCPM預測色度下像素的方式（公式(4)和(5)），考慮到計算復雜度，我們重用了TSCPM的運算邏輯，將TSCPM的模型參數做一個加權，提出的PMC模式的A和B分別通過公式(6)和(7)計算，最終預測出的第三通道的通過公式(8)計算。

?

?為了得到比較合適的權重參數，再次利用LSR方法去盡可能縮小預測像素與原始像素的差距，如公式(9)所示，其中N是色度樣本綜述，i是樣本index。

?

?利用TSCPM模式的色度塊去訓練我們PMC模型的參數，其中（wherein）的訓練數據（TSCPM的預測信號、重建信號等）都是從解碼端直接獲取。我們假設TSCPM對的預測信號與實際的信號非常接近并強制μ為1，然后三個序列BasketballPass, BlowingBubbles,?BQSquare中統計的分布，如圖4和圖5所示。為了更好地展示，我們排除了(0,0)點，因為這個點表示TSCPM預測的像素與原始像素一致，不能用來訓練我們的參數。可以看出一些峰值(-1,1)，(-1/2, 1/2), (1,1)，從而激勵我們設計顯著的權重參數。

?

?PMC模式設計

我們設計的雙模式：既可以用亮度像素和Cb去預測Cr，也可以用亮度和Cr去預測Cb。使用分布圖中概率最高的兩組參權重數(-1,1)和(-1/2, 1/2)，從圖4和圖5的分布圖上來看，兩個模式下的分布非常相似，因此這兩種權重參數可以應用于兩種模式。

PMC模式與TSCPM的三種模式對應，模式對應的編碼標志位如表1所示，其中從0開始算索引位置4的位置上記錄著使用PMC模式或者是TSCPM模式，如果是PMC模式，則索引位置5進一步表示使用的是雙模式中的哪一種（0表示用亮度和Cb預測Cr，1表示用亮度和Cr預測Cb），最后一位表示使用的權重參數集，如表2所示。使用哪一種參數和模式由編碼器中的RDO決定。

?在預測第三通道的色度像素的時候，這個第三通道與亮度像素之間的相關性可能會比較低，這時候第二通道色度重建像素去補償預測失誤。因此，這時大概率第二通道像素時是有殘差的，為節省碼率我們直接推斷出第二通道塊的CBF為1，而不是顯式地標記這個標志。

PMC的工作流程圖如圖6所示，對第二通道的預測與TSCPM相同，對第三通道的預測主要分為兩步，第一步對亮度重建像素塊進行線性變換，變換的參數由TSCPM的參數得到，如公式(6)和(7)所示。隨后，對線性變換的結果進行下采樣操作，最終第三通道的預測結果由亮度下采樣結果和第二通道的重建像素得到，根據權重參數集的不同，最終的預測像素可以由公式(10)和(11)所示。

?

?

實驗結果

性能評估

實驗在AVS3標準的參考軟件HPM6.0上做實驗，用AVS3的通測條件[17]測試攝像頭序列和SCC序列，用BD-rate[4]去評估性能。測試在RA和AO上都進行了測試，分成一般QP集合{27.32,38.45}高QP集{38,45,53,62}進行測試。

表3是PMC模式在一般QP集合、自然場景下的測試結果，RA配置下PMC?模式帶來了0.32%，1.60%和2.39%的性能，AI配置下的性能提升是0.10%，1.74%和1.94%。PMC模式帶來了色度上12次額外的RDO，使得編碼時間增加了2%~4%，對解碼時間的影響可以忽略不計。在低碼率情況下，如表4所示，PMC在色度上可以帶來4.67%和4.00%的性能提升，在Crew序列上提升最大（1.36%,15.58%和4.55%的性能提升）。

在SCC序列上的結果如表5所示，IBC是打開的，測試序列有TGM、MC和游戲。PMC在TGM序列的AI配置下取得的性能增益是0.91%，2.24%和2.82%，在RA配置下的性能增益是1.10%，1.98%和2.31%。PMC模式已經被應用在了AVS3標準中[18]。

?為了證明PMC的有效性，在解碼端統計了PMC的模式命中率，如圖7所示。DM占最大比例最大，平均56.1%的色度編碼塊從分配的luma編碼塊繼承內預測模式。所提出的PMC是第二種常用的模式，其中近四分之一的色度編碼塊最終用PMC模式進行編碼。

討論

PMC模式在硬件實現中存在延遲，因為第三個通道需要等待亮度和第二色度通道的重建像素。在解碼端，跨分量預測也存在三步，解碼殘差、預測和重建。殘差解析這個過程三個通道可以直接從解析、逆變換開始并行處理，但是，跨分量預測時并行會被打斷，因為需要等到其他通道的重建像素。值得一提的是，在一個編碼塊內的預測和重建是像素化的操作，它支持并行計算。因此，所提出的PMC所引入的解碼延遲對于硬件設計是可接受的。

減小同于是壓縮的核心。跨分量預測的有效性表明它可以有效地消除通道之間的冗余。在計算復雜度的限制下，我們已經研究除了很多中預測路線和線性模型去提升跨分量預測性能，但仍舊有空間。1）輕量級非線性預測模型非常適合于跨分量預測，以更好地適應多樣化的視頻內容；2）比起直接遍歷不同的跨分量預測解決方案，如何利用一些先驗只是去選擇一個最佳的預測方案也很指的研究；3）非鄰近的參考像素可能會與當前塊有更多的相似性，如果未來芯片資源（on-chip resources）足夠這方面還值得探究。

參考文獻

1. B. Bross, J. Chen, and S. Liu, “Versatile video coding (draft 4),” in Proc. 13th JVET Meeting, 2019, JVET-M1001. 2. J. Zhang, C. Jia, M. Lei, S. Wang, S. Ma, and W. Gao?“Recent development of AVS video coding standard:? AVS3,” in Proc. Picture Coding Symp., 2019, pp. 1–5. 3. J. Li et al., “Sub-sampled cross-component prediction for chroma component coding,” in Proc. Data Compression Conf., 2020, pp. 203–212. 4. G. Bjontegaard, “Calculation of average PSNR?differences between RD-curves,” Tech. Rep. ITU-T SG.16/Q.6, VCEG-M33, ITU-T, Austin, TX, USA, 2001. 5. W. Gao and S. Ma, “An overview of AVS2 standard,” Adv. Video Coding Syst., vol. 22, pp. 35–49, Jan. 2014. 6. G. J. Sullivan, J. Ohm, W. Han, and T. Wiegand, “Overview of the high effificiency video coding (HEVC) standard,” IEEE Trans. Circuits Syst. Video Technol., vol. 22, no. 12, pp. 1649–1668, Dec. 2012. 7. J. Kim, S.-W. Park, J.-Y. Park, and B.-M. Jeon, “Intra chroma prediction using inter channel correlation,” in Proc. 2nd JCTVC Meeting, Jul. 2010, Art. no. JCTVC-B021. 8. D. Flynn et al., “Overview of the range extensions for the HEVC standard: Tools, profifiles, and performance,” IEEE Tran. Circuits Syst. Video Technol., vol. 26, no. 1, pp. 4–19, Jan. 2016. 9. J. Huo et al., “CE3-1.5: CCLM derived with four neighbouring samples,” in Proc. 14th JVET Meeting, Mar. 2019, Art. no. JVET-N0271. 10. K. Zhang, J. Chen, L. Zhang, X. Li, and M. Karczewicz, “Enhanced cross-component linear model for chroma intra-prediction in video coding,” IEEE Trans. Image Process., vol. 27, no. 8, pp. 3983–3997, Aug. 2018. 11. X. Zhang, C. Gisquet, E. Fran?ois, F. Zou, and O. C. Au, “Chroma intra prediction based on inter-channel correlation for HEVC,” IEEE Trans. Image Process., vol. 23, no. 1, pp. 274–286, Jan. 2014. 12. C. Gisquet and E. Fran?ois, “Model correction for cross-channel chroma prediction,” in Proc. Data Compression Conf., 2013, pp. 23–32. 13. T. Zhang, X. Fan, D. Zhao, and W. Gao, “Improving chroma intra prediction for HEVC,” in Proc. IEEE Int. Conf. Multimedia Expo Workshops, 2016, pp. 1–6. 14. Y. Li et al., “A hybrid neural network for chroma intra prediction,” in Proc. 25th IEEE Int. Conf. Image Process., 2018, pp. 1797–1801. 15. J. Li et al., “Prediction with multi-cross component,” in Proc. IEEE Int. Conf. Multimedia Expo Workshops., 2020, pp. 1–6. 16. “AVS3 software repository,” [Online]. Available: https://gitlab.com/AVS3_Software/hpm.git 17. J. Chen, “AVS3-P2 common test conditions v9.0,” in Proc. 71st AVS Meeting, 2020, AVS-N2762. 18. J. Li et al., “CE1-2: Prediction from multiple cross-components,” in Proc. 72nd AVS Meeting, 2020, AVS-M5158.

總結

以上是生活随笔為你收集整理的论文阅读：Prediction With Multicross Component forFuture Video Coding的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。