碼率控制的主要目的是控制每一幀圖像編碼輸出的比特數，并在總比特數一定的約束條件下使圖像失真最小。當然，由于視頻圖像質量及其編碼復雜性，碼率控制的目標并不是單一的。常見的控制目標包括：提高輸出碼率控制精度使其最大程度的接近目標碼率；提高編碼后輸出比特流的峰值信噪比；減少碼率波動；提高編碼速度等。碼率控制是一個多約束條件、多目標的優化問題。

碼率控制涉及視頻質量和信道帶寬的折衷。減少碼率會犧牲質量，質量提高就會增加碼率。常用的碼率調節手段包括：

調節編碼幀率。當碼率高于信道時，通過丟幀來降低碼率；當碼率低于信道時，可提高幀率以提高視覺效果；

調節圖像大小。一般情況下，圖像大小設定后不可不改變。

調節量化參數。編碼殘差系數的量化參數會直接影響到碼率。量化參數大，則編碼比特數降低；量化參數小，編碼比特數高。

編碼過程相關參數選取。如在編碼過程中，如何確定并選取Skip宏塊、模式選擇算法以及計算量等，這些參數都會影響編碼碼率。

1. 典型碼率控制過程

在每個短的時間間隔內確定一個目標碼率。這個目標碼率主要由信道帶寬決定，可分為常信道和可變信道。在一個CBR系統中這個目標碼率是個常數。在一個VBR系統中，目標碼率要滿足信道的平均帶寬和峰值帶寬的要求。比如網絡信道，由于信道不穩定，目標碼率需要實時更新。

確定幀/宏塊的碼率預算，這個預算通常和目標碼率和編碼數據緩存區占用程度相關。按照目標碼率和剩下可用帶寬，給當前要編碼的幀和宏塊分配碼率。當緩存塊溢出或不夠存儲當前幀數據時，會選擇丟棄當前幀。

定量化參數，使碼率和預算碼率匹配。

2. H264的碼率控制模型

H264參考軟件JM實現的碼率控制算法基于JVT-G102，是一個多層次的CBR碼率控制算法。碼率控制由三個層次組成：GOP層碼率控制、圖像層碼率控制以及宏塊層碼率控制。

JM編碼流程如下圖所示，綠色框為碼率控制模塊。
GOP層碼率控制主要在rc_init_GOP函數中實現；
對于GOP中每一幀圖像調用rc_init_frame實現圖像層碼率控制；
圖像中的每一個宏塊編碼前調用rc_handle_mb實現宏塊層碼率控制，更新RQ模型系數，并得到編碼宏塊QP

2.1 GOP層碼率控制

GOP層碼率控制主要目的是：1.確定當前GOP中尚未編碼圖像的目標比特數；2.GOP中第一個IDR圖像的量化參數。JM對應實現在rc_init_GOP函數中

2.1.1 目標比特數

目標比特數的計算滿足以下原則：

控制在本GOP編碼結束時清空虛擬緩存區；

根據輸出碼率變化及時調整GOP的目標比特數

當編碼到第i個GOP的第j幀圖像時，當前GOP剩余圖像的目標比特數按照如下公式更新：

其中，f為幀率，Ni為當前GOP的幀數，Vi（j）為虛擬緩存區占用bit數。Ri（j）為當前可用的信道帶寬（bit/s），也就是設置的輸出碼率，在網絡傳輸時，該值需要根據當前網絡狀況動態調節。bi(j-1)為前一圖像編碼后的實際比特數。在CBR時，Ri(j)=Ri(j-1)，此使顯然：
Bi(j)=Bi(j-1)-bi(j-1)
每編碼完一幀圖像后，需要按照下式更新虛擬緩存區大小：

2.1.2 量化參數

對于視頻序列第一個GOP，其IDR圖像的量化參數根據設置的輸出碼率確定。根據每個像素分配的bpp（bits per pixel）將初始QP值分為4個等級。

if (bpp<= L1)qp = 35; else if(bpp<=L2)qp = 25;zh else if(bpp<=L3)qp = 20; elseqp = 10;

其中，Bpp由下式確定：
Bpp=R1(1)/(fxN)
對于QCIF視頻（176x144）推薦L1 = 0.1，L2 = 0.3，L3 = 0.6;對于CIF視頻（352x288）推薦L1 = 0.2，L2 = 0.6，L3 = 1.2;其他情況L1 = 0.6，L2 = 1.4，L3 = 2.4;
對于視頻序列其他GOP的IDR圖像，則根據前一個GOP的統計數據計算確定其量化參數。公式如下：
$$Q{P}_i(1)=max(Q{P}_{i?1}(1),min(Q{P}_{i?1}(1)+2,\frac{SumPQP(i?1)}{N_p(i?1)}?min(2,\frac{N_{i?1}}{15})))$$

$其中，N_p(i?1)表示第i?1個GOP中P幀幀數，SumPQP(i?1)表示這些P幀量化參數的和。$

2.2 圖像層碼率控制

圖像層碼率控制可分為兩個部分：編碼前控制和編碼后控制。其中編碼前控制的目的是確定該GOP中每一幀圖像的量化參數。編碼后控制的目的是根據當前圖像的編碼結果，更新RDO模型參數。

2.2.1 編碼前控制

編碼前控制對于參考圖像（也就是P slice）和非參考圖像（B slice）由不同的處理方式，每個GOP中第一個I slice在GOP層碼率控制中已經確定。

JM中對應代碼在rc_quadratic.c中的updateQPRC0函數（根據參數RCUpdateMode選擇不同函數調用，RCUpdateMode默認方式為0）。

• 對于非參考圖像（B slice）的QP根據相鄰的兩幀參考圖像使用簡單的插值方式處理。計算過程如下：
  假設j和j+L+1是相鄰的兩幀參考圖像，QP(j)和QP(j+L+1)分別對應他們的量化參數，根據L是否大于1，分兩種情況計算兩者間非參考幀的量化參數。

1）L=1時，兩幀參考幀之間只有一個非參考幀。此使QP(j+1)按下式計算：

2）L>1時，兩幀參考幀之間只有多個非參考幀。此使QP(j+k)按下式計算：

其中，k=1，2，…，L。a由QP(j+L+1)和QP(j)的差值確定：

• 對于參考圖像（P slice）的QP，編碼前控制由兩個步驟組成：確定每一個參考圖像的目標比特數；確定參考圖像的量化參數并進行RDO。JM中對應代碼在rc_quadratic.c中的rc_init_pict函數。

1）確定參考圖像的目標比特數主要考慮以下幾個因素：不同類型圖像分配比特數的比例有差異；編碼圖像的復雜度；GOP中不同位置的圖像對清空緩存區的貢獻不同。

首先，計算圖像復雜度，圖像復雜度與編碼比特數和QP值正相關：
$AveWp(k)=Wp(k)/8+7?AveWp(k?1)/8$
$AveWb(l)=Wb(l)/8+7?AveWb(l?1)/8$
$Wp(k)=b(k)?QP(k)$
$Wb(l)=b(l)?QP(l)/1.3636$

其中，AveWp(k)為P slice的平均復雜度，AveWb(k)為B slice的平均復雜度。

其次，需要確定當前圖像的目標緩存級別（target buffer level）Si(j)。這個變量用于修正待編碼圖像對清空緩存區的權重，基本原理時清空緩存區的工作應該更多由非參考幀來承擔。當編碼完IDR圖像后，目標緩存級別設置為當前緩存區的占用程度：
p_quad->TargetBufferLevel = (double) p_gen->CurrentBufferFullness;
以后，每編碼完一個參考圖像，當前圖像目標緩存按照下式進行更新：

if(p_quad->NumberofPPicture==1) // 當前GOP第一個P幀 {// P167公式Si(k+1)p_quad->TargetBufferLevel = (double) p_gen->CurrentBufferFullness; // Si(2)=Vi(2)p_quad->DeltaP = (p_gen->CurrentBufferFullness - p_quad->GOPTargetBufferLevel) / (p_quad->TotalPFrame-1);p_quad->TargetBufferLevel -= p_quad->DeltaP; } else if(p_quad->NumberofPPicture>1)p_quad->TargetBufferLevel -= p_quad->DeltaP;

考慮目標緩存級別、幀率、可用帶寬以及緩存區的實際占用情況，可以得到一個計算參考幀比特數的公式：

tmp_T = imax(0, (int) floor(p_quad->bit_rate / p_quad->frame_rate - p_quad->GAMMAP * (p_gen->CurrentBufferFullness-p_quad->TargetBufferLevel) + 0.5));

其中，如果P slice間沒有B slice時，常量GAMMAP=0.5；其他情況下GAMMAP=0.25.

同樣如果從GOP剩余比特數考慮，可以得到另一個計算目標比特數的公式：

p_quad->Target = (int) floor( p_quad->Wp * p_gen->RemainingBits / (p_quad->Np * p_quad->Wp + p_quad->Nb * p_quad->Wb) + 0.5);

綜合考慮這兩種計算方法，得到如下計算目標比特數的公式：

p_quad->Target = (int) floor(p_quad->BETAP * (p_quad->Target - tmp_T) + tmp_T + 0.5);

其中，如果P slice間沒有B slice時，常量BETAP=0.5；其他情況下BETAP=0.9

接下來需要確定參考圖像的量化參數并進行RDO。主要實現參考JM代碼updateQPRC0。
首先，根據線性模型，根據前一個已編碼P幀的MAD預測當前幀MAD；

p_quad->CurrentFrameMAD = p_quad->MADPictureC1*p_quad->PreviousPictureMAD + p_quad->MADPictureC2;

其中兩個線性模型參數MADPictureC1、MADPictureC2在編碼當前圖像后，需要用線性回歸法對它們進行更新。

然后，根據二次RQ模型確定圖像的量化參數，計算過程參考JM代碼updateModelQPFrame函數實現。

通過對一元二次方程m_Bits = m_X1 * MAD / QStep + m_X2 * MAD / (QStep * QStep)求解得到量化步長QStep。

void updateModelQPFrame( RCQuadratic *p_quad, int m_Bits ) {double dtmp, m_Qstep;// ax*x+bx+c=0 的判別式 b*b-4acdtmp = p_quad->CurrentFrameMAD * p_quad->m_X1 * p_quad->CurrentFrameMAD * p_quad->m_X1+ 4 * p_quad->m_X2 * p_quad->CurrentFrameMAD * m_Bits; // 退化為一階方程if ((p_quad->m_X2 == 0.0) || (dtmp < 0) || ((sqrt (dtmp) - p_quad->m_X1 * p_quad->CurrentFrameMAD) <= 0.0)) // fall back 1st order modem_Qstep = (float) (p_quad->m_X1 * p_quad->CurrentFrameMAD / (double) m_Bits);else // 2nd order modem_Qstep = (float) ((2 * p_quad->m_X2 * p_quad->CurrentFrameMAD) / (sqrt (dtmp) - p_quad->m_X1 * p_quad->CurrentFrameMAD));p_quad->m_Qc = Qstep2QP(m_Qstep, p_quad->bitdepth_qp_scale); }

2.2.2. 編碼后處理

在圖像級編碼前控制中，我們確定了每幀圖像的量化參數。在該層次的編碼后控制階段主要完成以下兩件事情：根據當前幀（或宏塊）的編碼情況更新MAD預測模型（線性模型）和二次RQ模型；更新緩存區狀態，處理緩存區溢出。

1.更新碼率控制模型：在編碼完當前幀/宏塊后，編碼器需要更新RQ和MAD預測模型。這里使用線性回歸算法來更新模型的參數。更新過程由下面三步組成（這部分代碼實現參考JM的updateRCModel函數）：

1）選擇數據集：模型的準確度依賴于做線性回歸的數據集大小及其質量。一般來說，選擇的數據量越多，越能反映出平均情況，但難以反映出實時情況。例如在場景切換時，需要根據最近的情況及時更新模型。

使用滑動窗機制來確定數據集大小。其基本原則是在平穩情況下，選擇較大窗口。提高模型準確度，在場景切換時，選擇較小窗口，以及時反映新場景對模型的影響。

JM代碼中使用圖像的MAD來表示圖像發生場景切換的強度。通過當前圖像的MAD和前一幀圖像的MAD的比值來調整滑動窗大小，如下：

n_windowSize = (p_quad->CurrentFrameMAD>p_quad->PreviousFrameMAD)? (int)(p_quad->PreviousFrameMAD/p_quad->CurrentFrameMAD * (RC_MODEL_HISTORY-1) ): (int)(p_quad->CurrentFrameMAD/p_quad->PreviousFrameMAD *(RC_MODEL_HISTORY-1));n_windowSize=iClip3(1, m_Nc, n_windowSize); //確定窗口上界n_windowSize=imin(n_windowSize,p_quad->m_windowSize+1); // 防止窗口階躍過大n_windowSize=imin(n_windowSize,(RC_MODEL_HISTORY-1));

2）計算模型參數：根據滑動窗內數據集（QStep、MAD、編碼bit數），使用線性回歸法更新RQ模型參數。計算過程在JM的RCModelEstimator函數.
具體推導過程參考RQ模型參數推導過程

3）移除滑動窗內誤差太大的數據樣本，并重新計算RQ模型參數。使用上一步驟計算得到的RQ模型參數計算每個樣本的均方差，均方差超過閾值K的樣本則認為該數據是錯誤數據，應該從數據集剔除。然后再根據步驟2重新計算一次RQ模型參數。

//計算誤差是看參數估計后模型計算結果表現怎么樣for (i = 0; i < (int) n_windowSize; i++){error[i] = p_quad->m_X1 / p_quad->m_rgQp[i] + p_quad->m_X2 / (p_quad->m_rgQp[i] * p_quad->m_rgQp[i]) - p_quad->m_rgRp[i];std += error[i] * error[i];}threshold = (n_windowSize == 2) ? 0 : sqrt (std / n_windowSize); //均方誤差for (i = 0; i < (int) n_windowSize; i++){//* 對預測誤差較大的幀，標記為限制訪問if (fabs(error[i]) > threshold)m_rgRejected[i] = TRUE;}// always include the last data pointm_rgRejected[0] = FALSE; //默認第一幀圖像無條件保留，防止數據集為空

2.3 基本編碼單元層碼率控制

基本編碼單元（basic unit）是碼率控制的基本單元，由連續編碼的一組n個宏塊構成。如果n和圖像的宏塊個數相等，則變成圖像層碼率控制；如果n等于1，則相當于宏塊層的碼率控制。
如果當前圖像為IDR幀或非參考幀，則該幀所有編碼單元使用相同的量化參數QP。
基本編碼單元層碼率控制的目標是為每一幀圖像中的每個基本單元選擇合適的量化參數，使得圖像編碼比特數盡可能接近目標值。算法分為5步：

預測當前編碼單元的MAD（updateRCModel函數）

計算當前編碼單元的目標比特數，預估編碼單元頭部信息所需比特數，并計算編碼殘差系數可用比特數（updateRCModel函數）；

預測當前編碼單元的量化參數（updateQPRC0函數），計算過程與圖像層碼率控制一樣

對當前基本單元的每個宏塊進行RDO

更新當前圖像剩余比特數，并根據編碼實際結果更新RQ模型以及預測模型系數

總結

以上是生活随笔為你收集整理的H264编码-码率控制原理以及JM代码分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。