信道編碼 / 前向糾錯碼FEC

思想是在數據中增加冗余信息，即校驗碼元 / 監督碼元，從而檢錯、糾錯

信道編碼的優劣評判

• 首先，最基本的是要追求低差錯率

實現糾錯很簡單，只要多添加冗余信息就好；但實際中，我們還需要考慮編/譯碼復雜度問題和開銷問題：

• 編/譯碼復雜度低，可以節省算力資源、提高處理速度
• 保證糾錯性能的同時，追求盡量小的開銷（冗余比特）
  也就是說：好的信道編碼，能夠在一定的編碼率$R=k/n$下（將$k$個信息位編碼為總共$n$位），接近信道的容量的極限——香農極限

香農極限

根據香農第二定理，只要采用合適的信道編碼，無差錯傳輸的信息傳輸速率上限就是信道容量

• 也就是說，實現無差錯傳輸，理論上的最大傳輸速率就是信道容量，我們稱之為香農極限 / 香農容量
• 理論存在，那么實際中如何讓信息速率逼近香農極限呢？需要采用足夠長的隨機編碼

分組碼有規則的代數結構，顯然不是“隨機”的，譯碼復雜度也限制了碼長不能太長，因而遠達不到香農極限；
后續的Turbo碼、LDPC碼、Polar碼，才逐漸接近香農極限

信道編碼舉例

我們的思路是：

• 分組碼：多個信息位成一組，對這一組比特追加校驗位
  信息單獨分塊處理，其演進過程是重復碼->漢明碼->戈萊碼->RM碼->循環冗余校驗CRC碼
  缺點：每一組編碼全部接收后才能譯碼；并且需要精確的幀同步才能正確譯碼
• 卷積碼：對于當前輸入的多個信息位，編碼器的輸出還與之前輸入的信息位有關
  卷積碼引入各個信息塊之間的相關性（隨著約束長度$N$增加，差錯率指數下降）；并且編譯碼可以連續進行（無需等待整組信息）
• 現代信道編碼：Turbo碼、LDPC碼、Polar碼
  進一步逼近香農極限

LTE控制信道的信道編碼就采用了$(3,1,7)$的卷積碼；
3G、4G中廣泛應用Turbo碼（運用交織實現了“偽隨機”，在高噪聲環境下也性能優越）
5G的eMBB場景下，控制信道使用Polar碼，數據信道使用LDPC碼（更短時延要求更快的譯碼速度，而Turbo碼的迭代譯碼被淘汰）

1. 分組碼

$k$個信息位分為一組，增加$n?k$位冗余碼元，總共得到$n$位數據，稱為$(n,k)$分組碼
$n?k$位冗余碼元稱為監督碼元 / 校驗碼元，用于檢錯和糾錯

---

分組碼的矩陣表述：

生成矩陣

給出信息位的行向量${\mathbf{m}}_{1\times n}$，那么有一個生成矩陣${\mathbf{G}}_{k\times n}$可以生成分組碼的碼字行向量${\mathbf{C}}_{1\times n}$$${\mathbf{C}}_{1\times n}=\mathbf{m}\mathbf{G}=\left[\begin{array}{cccc}{\mathbf{c}}_1& {\mathbf{c}}_2& ...& {\mathbf{c}}_n\end{array}\right]$$
碼字行向量$\mathbf{C}$的分量${\mathbf{c}}_{col}$（第col列）源于$\mathbf{m}$和$\mathbf{G}$的第col列相乘，也就是說，編碼后每一位碼字都是信息位$\mathbf{m}$的線性組合結果，如${\mathbf{c}}_4={\mathbf{m}}_2+{\mathbf{m}}_3$

校驗矩陣

由上式改寫可知，對于合法的碼字$\mathbf{C}$，若校驗信息長度$m=n?k$，那么各個碼字之間一定滿足$m$個方程的約束
例如，$(5,3)$分組碼的合法碼字滿足$\{\begin{array}{c}{\mathbf{c}}_2+{\mathbf{c}}_3+{\mathbf{c}}_4=0\\ {\mathbf{c}}_1+{\mathbf{c}}_2+{\mathbf{c}}_3+{\mathbf{c}}_5=0\end{array}$（注意，以下一切加法為模2加），那么將其視為齊次線性方程組，${\mathbf{c}}_n$視為未知數，寫為矩陣形式得到$\left[\begin{array}{ccccc}0& 1& 1& 1& 0\\ 1& 1& 1& 0& 1\end{array}\right]?\begin{array}{c}{\mathbf{c}}_1\\ {\mathbf{c}}_2\\ {\mathbf{c}}_3\\ {\mathbf{c}}_4\\ {\mathbf{c}}_5\end{array}?=\left[\begin{array}{c}0\\ 0\end{array}\right]$

• 定義校驗矩陣${\mathbf{H}}_{(n?k)\times n}=\left[\begin{array}{ccccc}0& 1& 1& 1& 0\\ 1& 1& 1& 0& 1\end{array}\right]$，可見所有合法碼字${\mathbf{C}}^T$（列向量）構成了$\mathbf{H}$的零空間，即$$\mathbf{H}{\mathbf{C}}^T=0_{(n?k)\times 1}=?\begin{array}{c}0\\ ?\\ 0\end{array}?$$
• 實際上，校驗矩陣$\mathbf{H}$和生成矩陣$\mathbf{G}$滿足$\mathbf{H}{\mathbf{G}}^T=0_{(n?k)\times k}$（兩者可以互相求出）

對于合法的碼字行向量${\mathbf{C}}_{1\times n}^{\prime }$后，與校驗矩陣$\mathbf{H}$做內積：若$\mathbf{H}({\mathbf{C}}^{\prime }{)}^T=0$，說明通過了校驗，沒有出錯

標準/系統校驗矩陣

根據線性方程組的理論，$\mathbf{H}$任意進行初等行變換，不改變校驗位的約束關系（相當于消元）

由此，一般形式的$\mathbf{G}$和$\mathbf{H}$，對其做初等行變換，可以得到

• 系統生成矩陣${\mathbf{G}}_S={\left[\begin{array}{cc}{\mathbf{I}}_k& {\mathbf{Q}}_{k\times (n?k)}\end{array}\right]}_{k\times n}$
• 系統校驗矩陣${\mathbf{H}}_S={\left[\begin{array}{cc}{\mathbf{Q}}_{(n?k)\times k}^T& {\mathbf{I}}_{(n?k)}\end{array}\right]}_{(n?k)\times n}$

這樣做的好處是，所有信息位原樣集中分布，所有校驗位集中分布在碼字的末尾

校驗方法和伴隨式

前面說過，合法的碼字行向量${\mathbf{C}}_{1\times n}^{\prime }$與校驗矩陣$\mathbf{H}$滿足：$\mathbf{H}({\mathbf{C}}^{\prime }{)}^T=0$

實際中，接收碼字行向量${\mathbf{r}}_{1\times n}$=原始碼字${\mathbf{c}}_{1\times n}\oplus$錯誤圖樣${\mathbf{e}}_{1\times n}$

那么，對于接收碼字行向量${\mathbf{r}}_{1\times n}$，校驗方法就是計算${\mathbf{r}}_{1\times n}{\mathbf{H}}_{n\times (n?k)}^T={\mathbf{s}}_{1\times (n?k)}$，稱${\mathbf{s}}_{1\times (n?k)}$為伴隨式

• 如果伴隨式${\mathbf{s}}_{1\times (n?k)}=0$，可能無差錯 / 錯誤圖樣剛好為某個碼字
• 如果伴隨式${\mathbf{s}}_{1\times (n?k)}\ne 0$，必有差錯

${\mathbf{s}}_{1\times (n?k)}\ne 0$時，糾錯方法是：提前計算所有可能導致該結果的錯誤圖樣${\mathbf{e}}_{1\times n}$，并選擇其中出錯最少（1的個數最少）的作為最終的錯誤圖樣${\mathbf{e}}_{1\times n}$（上面說過，伴隨式數量<=所有可能的錯誤情況，只能挑選最有可能的錯誤來糾正；若取=號則稱為完備碼）

---

重復碼

三重復碼：$0\to 000,1\to 111$，檢2位錯，糾1位錯
問題是傳輸效率只有1/3，并且錯2位就會導致譯碼出錯

奇偶校驗碼

僅增加1位校驗碼元，保證分組碼的碼字中1的個數為偶數

• 檢測奇數個錯，不能糾錯

漢明碼

$(7,4)$漢明碼，3位監督碼元分別對信息碼元中的某幾位進行奇偶校驗，多組奇偶校驗共同形成了類似“方程組”的約束，從而能夠糾錯

• 檢2位錯，糾1位錯

如圖，$a_2$、$a_1$、$a_0$分別對某幾個信息位做奇偶檢驗

$$?\begin{array}{c}{\mathrm{a}}_6\oplus {\mathrm{a}}_5\oplus {\mathrm{a}}_4\oplus {\mathrm{a}}_2=0\\ {\mathrm{a}}_6\oplus {\mathrm{a}}_5\oplus {\mathrm{a}}_3\oplus {\mathrm{a}}_1=0\\ {\mathrm{a}}_6\oplus {\mathrm{a}}_4\oplus {\mathrm{a}}_3\oplus {\mathrm{a}}_0=0\end{array}$$

接收端檢錯方法：分別對三組奇偶校驗碼進行驗證：$$?\begin{array}{c}{s}_2=a_6\oplus a_5\oplus a_4\oplus a_2\\ s_1=a_6\oplus a_5\oplus a_3\oplus a_1\\ s_0=a_6\oplus a_4\oplus a_3\oplus a_0\end{array}$$
若沒有錯誤，則$s_2{s}_1{s}_0=000$；若$a_0$錯誤，則$s_2{s}_1{s}_0=001$；若$a_1$錯誤，則$s_2{s}_1{s}_0=010$…由此類推，僅一位出錯時，7種可能的錯誤剛好對應了$s_2{s}_1{s}_0$的7種可能組合，進而可以相應糾錯

2. 卷積碼

之前的編碼器：每次輸入k 個信息碼元，輸出n個碼元，編碼器的輸出只與本次輸入的一組信息碼元有關
卷積碼：編碼器的輸出不僅與本次輸入的一組信息碼元有關，還與之前輸入的$K$組信息碼元有關

$(n,k,N)$卷積碼，又時也記為$(n,k,m)$卷積碼
對于每次輸入的$k$個信息位，編碼器輸出$n$個碼元

• 本次的輸出涉及到當前及之前輸入的總共$N$組信息（稱約束長度/編碼存儲長度為$N$）；
  隨著約束長度$N$增加，差錯率指數下降
• 或者說本次輸出與之前的$m=(N?1)$段信息有關；

也就是說，當前的編碼器輸出，被總共$k?N$個輸入信息位共同決定，編碼器需要記憶之前的$k?(N?1)$個信息位；
卷積碼的編碼輸出結果中，共計有$n?N$位碼元是有關聯的;

一般$k=1$，也就是說1個比特就是一組，即：每次對1bit編碼，輸出n bit，結果與當前以及前面的總共N bit有關

$(n,1,N)$卷積碼，涉及到之前輸入的$N?1$個信息位，因此需要$m=N?1$級移位寄存器實現
關系：$$寄存器級數/記憶長度m=約束長度N?1$$

例如，一個$(2,1,3)$卷積碼編碼器，需要$m=N?1=2$級移位寄存器，原理如下：

編碼器輸出$u_1$涉及兩個前面的輸入：$u_1=m_i\oplus m_{i?1}\oplus m_{i?2}$
編碼器輸出$u_2$涉及一個前面的輸入：$u_1=m_i\oplus m_{i?2}$

由于只有兩級寄存器，寄存器中的數據只可能有四個狀態：，故編碼器類似一個“狀態機”，并且狀態的轉移取決于當前的輸入，不能隨意跳轉，合法的“狀態轉移”表示為網格圖如下：

圖中從上到下的四個黑點代表寄存器四個狀態；
實線代表輸入0，虛線代表輸入1；
實線和虛線旁的兩位數字代表編碼器的輸出

例如，輸入$100$，編碼器輸出$111011$

卷積碼的Viterbi譯碼原理

認為發出的所有碼字等概出現，因此可以采用最大似然譯碼ML，收到碼字$Y$，將其譯為碼字$X$，則譯碼結果$X$應該使得$P(Y|X)$最大化；
理論上，最大似然譯碼ML應該遍歷所有可能的編碼器輸出$X$，復雜度極高
但是我們在計算各個$X$對應的$P(Y|X)$時發現，從$X$到$Y$漢明距離最小時（即傳輸時錯誤的碼元越少），$P(Y|X)$越大

可見，最大似然譯碼ML可以轉化為：尋找與接收碼字$Y$漢明距離最小（誤碼數最少）的碼字$X$，這就是維特比譯碼，它大大減小了ML譯碼的計算量

維特比譯碼仍使用網格圖，目標是尋找一條最優路徑，即與接收碼字序列的漢明距離最小的路徑

如圖，首先寫出接收碼字序列$110101\underline{1}001$（有一位錯誤），實線和虛線代表譯碼輸出結果為0 / 1，四個點對應卷積碼編碼的2位輸出，實線和虛線旁的數字是每條支路與接收碼字序列的漢明距離

每步譯碼時，考慮所有可能的支路，并在節點處記錄各個路徑與接收碼字的漢明距離（各段旁標注的漢明距離的累加）

當每個節點處存在2條可能路徑時，舍棄漢明距離更大的那一條

不斷重復，直到最后一步，整個網格圖種只剩下4條可能的路徑

我們選取漢明距離最小的那條路徑，則譯碼結果為$11011$

3. 現代信道編碼

Turbo碼

上面說，要使信道編碼逼近香農極限（無差錯傳輸，且信息速率接近信道容量），需要采用足夠長的隨機編碼；
一方面要求隨機，傳統信道編碼有規則的代數結構，不是隨機的；
另一方面要求足夠長，然而傳統信道編碼的碼長不會太長，否則譯碼復雜度高

傳統編碼始終距離香農容量有2~3dB；
直到Turbo碼巧妙運用交織，實現了“偽隨機”，從而接近香農極限

Turbo編碼器：并行放置兩個卷積碼編碼器（稱為分量編碼器），由一個偽隨機交織器連接；
最終，完整輸出即“系統比特+第一校驗比特+第二校驗比特”
也就是說，將兩個簡單分量碼通過交織器并行級聯，從而構造了具有偽隨機特性的長碼；

Turbo碼增益就來自于這個交織器

Turbo偽隨機譯碼器：串行放置的兩個卷積碼譯碼器（稱為分量譯碼器），每個分量譯碼器的輸出經過處理又作為另一譯碼器的輸入，循環的進行迭代譯碼
在這個過程中分量譯碼器之間傳遞去掉正反饋的外信息（外信息就類似于除去單個譯碼器自身判斷之外，另一譯碼器提供的信息），最終兩個校驗比特流共同貢獻了譯碼的結果。
整個譯碼過程類似渦輪工作，故稱Turbo碼

也可表示為

LDPC碼

低密度奇偶校驗 LDPC碼本質上仍是線性分組碼，并且是具有奇偶校驗等式的線性分組碼。LDPC很早已經被提出，但早期缺乏可行的譯碼算法，計算復雜性高，如今出現高效靈活的并行譯碼架構后，譯碼復雜度降低，才得以應用

對于$(n,k)$分組碼，其校驗信息長度為$m=n?k$，校驗矩陣${\mathbf{H}}_{(n?k)\times n}$與合法碼字行向量${\mathbf{C}}_{1\times n}^{\prime }$滿足$\mathbf{H}({\mathbf{C}}^{\prime }{)}^T=0$

• LDPC碼就是校驗矩陣$\mathbf{H}$為稀疏矩陣的分組碼，故稱“低密度”-
• 常用因子圖/Tanner圖描述LDPC碼，與校驗矩陣$\mathbf{H}$一一對應
  $\mathbf{H}$的$n$列對應因子圖上的$n$個信息節點/變量節點；
  $\mathbf{H}$的$m=n?k$行對應因子圖上的$m=n?k$個校驗節點（$\mathbf{H}{\mathbf{r}}^T={\mathbf{s}}^T$，其中${\mathbf{s}}_{1\times (n?k)}$相當于伴隨式）；
  

“低密度”是指LDPC的$\mathbf{H}$矩陣中1元素很少，從而Tanner圖中的連接數也很少

本來從編碼的角度看，基于校驗矩陣的線性分組碼，在編碼時需要大量迭代（與碼字大小的平方成正比）；但LDPC碼的特殊設計保證了在不犧牲性能的同時降低了編譯碼復雜度

LDPC碼使用全0或循環子矩陣（移位識別矩陣）構造奇偶校驗矩陣

Polar碼

Polar碼是第一種被嚴格證明達到香農極限的信道編碼，核心是信道極化理論（不同信道對應的極化方法有區別）

• 信道極化：對于一組獨立的二進制對稱輸入離散無記憶信道，通過信道編碼，可使各個子信道呈現不同的可靠性
  信道極化包括信道組合和信道分解兩部分
  
• 組合信道數目趨于無窮大時，出現極化，子信道向兩個極端發展：一部分信道趨于無噪信道（傳輸速率達到信道容量），另一部分則趨于全噪信道（傳輸速率為0的）
• Polar碼策略就是用無噪信道傳輸用戶信息，全噪信道傳輸約定的信息/不傳信息
• 由于發送時已知信道分布，并且只將有用信息放在“無噪信道”，譯碼使用改進的串行抵消列表SCL算法，復雜度低，且接近最大似然ML譯碼性能

Polar碼優點：性能增益高（對于特定誤碼率要求，所需的信噪比更低）、可靠性高（沒有誤碼平層）、譯碼復雜度低

總結

以上是生活随笔為你收集整理的通信原理学习笔记4：信道编码、分组码、卷积码、现代信道编码（Turbo码、LDPC码、Polar码）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。