幀內(nèi)解碼時，在解碼端，首先通過當前宏塊左邊、上邊已經(jīng)解碼完成的宏塊使用當前宏塊的預(yù)測模式（預(yù)測模式計算過程請參見我的論文《H.264數(shù)字視頻差錯控制技術(shù)的研究》，在群FTP“本群原創(chuàng)資料”目錄中）得到當前宏塊的像素預(yù)測值。然后通過對碼流進行解碼得到當前宏塊的像素殘差。最后將殘差和預(yù)測值加在一起就得到重構(gòu)的像素值。如果當前宏塊的左邊或者右邊的宏塊不存在（即當前宏塊為圖像邊界上的宏塊），那么其預(yù)測值全部為128。

幀間解碼時，在解碼端，首先對碼流進行解碼得到當前宏塊的參考幀，然后通過當前宏塊周圍宏塊計算運動矢量預(yù)測值（具體方法見畢厚杰書99頁，標準中也有，但我一時不知道在什么地方了）。然后通過對碼流進行解碼得到當前宏塊的運動矢量殘差。將運動矢量殘差與運動矢量預(yù)測值相加得到實際的運動矢量。然后通過對碼流進行解碼得到當前宏塊的像素殘差（如果當前宏塊有像素殘差的話）。然后通過參考幀與上面計算得到的MV計算出當前宏塊的像素預(yù)測值。再將像素預(yù)測值與像素殘差相加就得到當前宏塊的重構(gòu)。

說明：

1、以上過程為 JM86 的解碼過程。并不一定所有代碼都按照這個流程；????

2、上面說的運動矢量預(yù)測值的計算過程實際是以4*4塊為單位，參考幀也是針對4*4塊做的。這里寫成宏塊主要是方便大家理解。

RDO

Rate-Distortion Optimization 是視頻編碼中最優(yōu)選擇mode的一種方法。比如h.264里好多mode 8x8 16x16 I4x4 I16 在給定的條件下，哪個是最好的?

Distortion 是指選用candidate mode產(chǎn)生的失真，rate是用這個mode需要的rate.他們換算成RDCost = Distortion + lamda * rate. 兩個mode誰的rdcost 低就選誰，其中的數(shù)學(xué)原理是條件極值轉(zhuǎn)非條件極值。

JM 里用的RDO是比較經(jīng)典的方法。最早是Gary J.Sullivan做的 參見 IEEE Signal Processing Magazine 1998 Nov.? "Rate-Distortion Optimization for video compression" rdo的經(jīng)典。 h264里的rdo還可參考CSVT H.264 special issue.

在H.264里面當前幀屬于哪個slice的決定形式是多種多樣的，對于JM中的碼流中，一般一幀圖象就認為是一個slice，那么如果當前幀是一個I幀，那么它就屬于一個I slice.這時整個frame的為一個slice.但是具體我們用什么樣的方式來進行slice type的決策呢，這也是一個問題。我們看一下T264里面是如何處理這個問題的。

在T264中,如果我們設(shè)定了,USE_SCENEDETECT的話,當前的slice種類是由當前幀的幀號與設(shè)定的idrframe,iframe跟bframe相關(guān)的，如果frame_no%idrframe==0的話，那么說明當前幀是屬于一個IDR slice的，如果frame_no%iframe==0的話，該幀屬于一個I slice.如果上面的情況不滿足那么是屬于P slice或B slice.由于碼流中只有如下幾種類型：0) I P P P ..... I P P P? 1) I B P B P.....B P B P?? 2) I B B P B B P.....B B P I B B P，所以如果frame_no%(bframe+1)==0的話，就屬于P slice,如果不是的話屬于B slice.

如果沒有使用USE_SCENEDETECT的話，是用MeAnalysis來決定當前屬于什么slice的。這種形式是動態(tài)式地決定是不是要加入一個I slice。決定流程如下：如果我們達到了我們在config里面設(shè)定的iframe interval的話，當前幀就是一個I slice.我們設(shè)定一個INTRA_THRESHOLD,對幀中的每一個宏塊進行預(yù)測，來計算sad.這個過程因為計算量比較大，所以使用了簡化算法，首先用前一幀的mv做預(yù)測值，計算sad，如果這個值大于我們設(shè)定的SEARCH_THRESHOLD的話，說明上一幀的mv已不適合做當前幀的預(yù)測，我們會使用一個簡化的diamond search來簡單地找一下當前宏塊的mv,進行sad計算。整個幀的sad計算結(jié)束之后，我們與INTRA_THRESHOLD進行比較，如果sad大的話，這一幀為I slice中的一幀，如果小的話，我們認為它是一個P或B幀。對于當前幀是P還是B幀還是用上面的方法進行。

總結(jié)

以上是生活随笔為你收集整理的H.264 中的相关问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。