Beamr的閉環內容自適應編碼解決方案（CABR）的核心是一項質量衡量的專利。與一般的視頻質量衡量方法相反，傳統方法旨在衡量由于誤碼，噪聲，模糊，分辨率變化等導致的視頻流之間的差異。而Beamr的質量衡量方法是針對特定的任務而設定的。在這篇博客文章中，Tamar Shoham為我們介紹了這種方法的組成部分。

文?/?Dror Gill&?Tamar Shoham翻譯 /?屈健寧

Beamr的閉環內容自適應編碼解決方案（CABR）的核心是一項質量衡量的專利。這個衡量方法將每個候選編碼幀的感知質量和初始編碼幀的進行比較。這種質量衡量方法確保了在比特率降低的情況下，仍然保留目標編碼的感知質量。與一般的視頻質量衡量方法相反，傳統方法旨在衡量由于誤碼，噪聲，模糊，分辨率變化等導致的視頻流之間的差異。而Beamr的質量衡量方法是針對特定的任務而設定的。Beamr的方法可以可靠、迅速地量化由于基于塊的視頻編碼的偽像而導致的視頻幀中被迫引入的感知質量損失。在這篇博客文章中，我們介紹了這種方法的組成部分，如上圖一所示。
預分析（Pre-analysis）
在確定編碼幀的質量之前，質量衡量組件對源編碼幀和初始編碼幀執行一些預分析，用以提取質量衡量計算中需要的一些數據，同時收集用于配置質量衡量的信息。預分析分為兩個部分，第一個部分在源編碼幀上執行，第二部分在初始編碼幀上執行。
Figure.A blockdiagram of the video quality measure used in Beamr’s CABR engine
預分析的第一部分的目的是表征給定幀內的內容、框架和感興趣的區域。在這個階段，我們可以確定在幀里是否有皮膚和面部區域、3D動畫典型的豐富色度信息或者在單元動畫內容中找到的具有動態背景的高度局部移動。所使用的算法旨在降低CPU的負擔。例如，我們的面部檢測算法在場景變化的時候采用了完整的監測機制，而在其他幀中則采用了獨特的低復雜度自適應跟蹤機制。對于皮膚檢測，我們使用了AdaBoost分類器，該分類器在我們創建的標記數據集上進行了訓練。AdaBoost分類器使用YUV像素值和4×4亮度方差值輸入。在此階段，我們還計算了我們在下面描述的Edge-Loss-Factor分數組件中使用的edge map。
預分析的第二部分用于分析初始編碼之后的幀特征。在這個階段，我們可以確定幀里是否存在顆粒，并統計顆粒的數量，然后用他們來配置質量衡量的計算。我們還收集有關每個塊的復雜度的信息，例如，通過用于編碼每個塊的比特使用率和塊量化級來展現這個信息。在這個階段，我們還計算幀的每一個塊或者區域中局部紋理的密度，這個密度會用于以下所描述的紋理保留分數組件中。質量衡量過程和組成(Quality MeasureProcess and Components)與參考幀相比，質量衡量可以評估目標幀的質量。在CABR的文中，參考幀是初始編碼幀，目標幀是特定迭代的候選幀。在執行了預分析的兩個階段之后，我們繼續進行實際的質量衡量計算，接下來將進行詳細描述。在完成預分析的兩個階段之后，每個參考幀和目標幀都被劃分成了相應的圖塊。這些圖塊的位置和尺寸根據幀的分辨率和其他幀特征進行調整。例如，我們會對具有高度局部運動的幀應用相對小的圖塊。有時，對于某些質量衡量組件，圖塊也會被進一步細分成子圖塊。為每個圖塊計算質量度量分數，并且在感知上合并這些分數來得到幀的質量分數。每個圖塊的質量分數計算方式：針對每個質量衡量的組件，計算相應的分數，然后對這些值進行加權幾何平均，來得到每個圖塊的質量分數。這些分量包括：確定像素方向差異的局部相似性分量、增加的偽像邊緣分量、紋理失真分量、邊緣損耗因子和時間分量?，F在我們簡要介紹Beamr的質量衡量標準中的這五個要素。局部相似度（Local Similarity）局部相似度組件評估參考圖塊和目標圖塊中相同位置的像素之間的相似度。這個組件在某種程度上和PSNR相似，但是使用：自適應子平鋪、合并和閾值設置，用以提供比常規PSNR更具感知性的結果。在某些情況下，例如當預分析確定該幀包含豐富的色度內容時，此分量中還包括色度平面的像素相似度計算，但是在大多數情況下，僅適用亮度。對于每個子圖塊，計算常規PSNR。為了對位于質量遠遠優于其上的圖塊中的低質量子圖塊賦予更大的權重，我們僅僅使用低于取決于最低子圖塊PSNR值的閾值的值來進行合并工作。當僅僅在很小的區域范圍（甚至只有幾個像素的區域）中發生變化時，可能會發生這種情況。然后，我們會根據比例值來調整合并值，這個因數根據圖塊中的亮度級別來進行調整，因為在黑暗的區域中的失真比在明亮區域中的失真更大。最后，我們裁剪局部相似性分量得分，使其位于[0,1]的范圍內，其中1表示目標圖塊和參考圖塊在感知上相同。人工添加邊緣（Added Artifactual Edges）

與參考圖塊相比，添加的偽像邊緣得分組件評估了目標圖塊中引入的其他塊狀性。視頻編碼中的塊狀性是眾所周知的偽像，它是由于對每個塊進行的獨立編碼引入的。為了避免這種塊狀偽像，我們已經進行了許多預先的嘗試，主要方法是使用解塊濾波器，這些濾波器是現代視頻編碼器（例如AVC和HEVC）的組成部分。但是，我們在AAE（人工添加邊緣）組件中的重點是量化此偽像的程度，而不是消除這個偽像。由于我們只對目標幀相對于參考幀的附加塊狀感興趣，因此我們根據目標幀與參考幀之間的差異來評估質量衡量的這一部分。對于差異塊中的每個水平和垂直編碼塊邊界，我們評估跨編碼塊邊界的變化或梯度，并將其與任一側編碼塊內的局部梯度進行比較。例如，對于AVC編碼，這是沿著全幀的16×16網格完成的。我們使用自適應的閾值，根據來自預分析階段的信息進行自適應，將軟閾值應用于塊度值。例如，在被認為是皮膚的區域中，人的視覺對偽像更加的敏感，我們將會使用更精準嚴格的閾值，以便對輕度塊狀偽像的處理更加嚴格。這些計算將生成一個AAE得分圖，其中包含每個水平和垂直塊邊界點在[0，1]范圍內的值。我們對每個塊邊界的值進行平均，然后對這些每個塊邊界的平均值進行平均，以排除或賦予低權重的塊邊界，在此同時也不會增加任何塊狀性。然后根據塊狀偽像的百分比來縮放該值，即閾值之前原始塊狀度值非常高的情況，最后將其裁剪到[0,1]的范圍，其中1表示未添加任何偽造邊緣。相對于參考圖塊的目標圖塊。

紋理變形

紋理失真分數組件量化了在目標圖塊中保留紋理的程度。包括AVC和HEVC在內的大多數基于塊的編解碼器，都使用諸如DCT之類的頻率變換，并對變換系數進行量化，通常對高頻分量進行更嚴格的量化。這可能會導致兩個不同的紋理假象。第一個偽像是由于高頻系數中的能量損失而導致的紋理細節損失或過度平滑。第二種偽像被稱為“振鈴”，其特征在于邊緣周圍的噪聲或圖像中的急劇變化。這兩種偽像都會導致像素值的局部方差發生變化：過度平滑會導致像素方差減小，而增加的振鈴或其他高頻噪聲則會導致像素方差增加。因此，我們在參考幀和目標幀圖塊的相應塊中測量局部偏差，并比較它們的值。此過程產生的紋理圖塊得分在[0,1]范圍內，其中1表示目標圖像圖塊中沒有可見的紋理失真。
時間一致性

與參考視頻序列中的時間流相比，時間得分組件評估目標視頻序列中的時間流的保留。這是質量衡量的唯一組成部分，它也需要利用先前的目標幀和參考幀。在此組件中，我們測量兩種變化：目標幀中缺少在參考幀中引入的“新”信息，以及目標幀中參考幀中沒有“新”信息的“新”信息。在這種情況下，“新”信息是指當前幀中存在但前一幀中不存在的信息。我們計算參考幀中的每個并置8×8塊與前一參考幀之間的絕對差之和（SAD），以及目標幀中的每個并置8×8塊與前一目標幀之間的SAD 。從這兩個SAD值之間的關系以及根據參考SAD的值得出局部（8×8）分數，這表明該塊本質上是動態的還是靜態的。圖2說明了參考和目標SAD值的不同組合的局部得分值。在計算了所有本地時間分數之后，將它們合并以獲取范圍為[0,1]的圖塊時間分數分量。

Figure 2. local temporal score as a function of reference SAD andtarget SAD values邊緣損耗因子（ELF）

邊緣損失因子得分組件反映了參考圖像中邊緣在目標圖像中的保留程度。該組件使用在預分析的第一部分中生成的輸入圖像邊緣圖。在預分析的第二部分中，計算參考幀中每個邊緣點的邊緣強度，作為邊緣像素值與其8個最鄰近像素之間的最大絕對差。通過將像素的參考幀邊緣強度與閾值進行比較，我們可以選擇丟棄被認為是虛假邊緣的像素，該閾值可以調整為例如在包含膠片顆粒的幀中更高。一旦所有邊緣像素的值都已累加，最終值將按比例縮放以提供ELF切片分數分量，范圍為[0,1]，其中1表示完美的邊緣保留。

得分組合組件

使用加權幾何平均將上述五個分數成分組合為塊分數，其中可以根據所使用的編解碼器或根據預分析階段來調整權重。例如，在具有良好循環內解塊濾波器的編解碼器中，我們可以降低塊狀分量的權重，而在具有高膠片顆粒水平（由預分析階段確定）的幀中，我們可以降低紋理失真的權重零件。
塊池化

在幀質量分數計算的最后一步中，將感知分數合并圖塊分數，以生成單個幀分數值。感知池使用的權重取決于重要性（取自分析前的階段，例如，圖塊中存在面部或皮膚），并且取決于圖塊中塊的復雜度（與幀的平均復雜度相比）。權重還取決于圖塊得分值–我們對低得分的圖塊給予更大的權重，以同樣的方式，即使在邊緣地帶出現，也會引發觀眾觀看質量的下降。

分數配置器

分數配置器塊用于配置不同情況使用的計算。例如，在等待時間或性能受到嚴格限制的實現過程中，配置器可以應用快速得分計算，該計算跳過預分析的某些階段并使用稍微降低的復雜性得分。為了仍然保證感知上相同的結果，可以縮放或補償在此快速模式下計算出的分數，以解決感知精度略低的問題，并且這種縮放在某些情況下可能會略微減少節省。

LiveVideoStackCon 2019深圳講師招募

12月13-14日，LiveVideoStackCon首次來到深圳，將全球前沿多媒體技術實踐與深圳本地產業結合，觸發技術與商業靈感。歡迎將你的技術實踐、踩坑與填坑經歷、技術與商業創業的思考分享出來。請將個人資料和話題信息郵件到 speaker@livevideostack.com 或點擊【閱讀原文】了解成為LiveVideoStackCon講師的權益與義務，我們會在48小時內回復。

LiveVideoStack?秋季招聘

LiveVideoStack正在招募編輯/記者/運營，與全球頂尖多媒體技術專家和LiveVideoStack年輕的伙伴一起，推動多媒體技術生態發展。同時，也歡迎你利用業余時間、遠程參與內容生產。了解崗位信息請在BOSS直聘上搜索“LiveVideoStack”，或通過微信“Tony_Bao_”與主編包研交流。

總結

以上是生活随笔為你收集整理的通过改进视频质量评估提升编码效率的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。