KL距離，是Kullback-Leibler差異（Kullback-Leibler Divergence）的簡(jiǎn)稱，也叫做相對(duì)熵（Relative Entropy）。它衡量的是相同事件空間里的兩個(gè)概率分布的差異情況。其物理意義是：在相同事件空間里，概率分布P(x)的事件空間，若用概率分布Q（x）編碼時(shí)，平均每個(gè)基本事件（符號(hào)）編碼長(zhǎng)度增加了多少比特。我們用D（P||Q）表示KL距離，計(jì)算公式如下：

當(dāng)兩個(gè)概率分布完全相同時(shí)，即P(x)=Q(X)，其相對(duì)熵為0 。我們知道，概率分布P(X)的信息熵為：

其表示，概率分布P(x)編碼時(shí)，平均每個(gè)基本事件（符號(hào)）至少需要多少比特編碼。通過信息熵的學(xué)習(xí)，我們知道不存在其他比按照本身概率分布更好的編碼方式了，所以D(P||Q）始終大于等于0的。雖然KL被稱為距離，但是其不滿足距離定義的三個(gè)條件：1）非負(fù)性；2）對(duì)稱性（不滿足）；3）三角不等式（不滿足）。

我們以一個(gè)例子來說明，KL距離的含義。

假如一個(gè)字符發(fā)射器，隨機(jī)發(fā)出0和1兩種字符，真實(shí)發(fā)出概率分布為A，但實(shí)際不知道A的具體分布。現(xiàn)在通過觀察，得到概率分布B與C。各個(gè)分布的具體情況如下：

A(0)=1/2，A(1)=1/2

B(0)=1/4，B(1)=3/4

C(0)=1/8，C(1)=7/8

那么，我們可以計(jì)算出得到如下：

也即，這兩種方式來進(jìn)行編碼，其結(jié)果都使得平均編碼長(zhǎng)度增加了。我們也可以看出，按照概率分布B進(jìn)行編碼，要比按照C進(jìn)行編碼，平均每個(gè)符號(hào)增加的比特?cái)?shù)目少。從分布上也可以看出，實(shí)際上B要比C更接近實(shí)際分布。

如果實(shí)際分布為C，而我們用A分布來編碼這個(gè)字符發(fā)射器的每個(gè)字符，那么同樣我們可以得到如下：

再次，我們進(jìn)一步驗(yàn)證了這樣的結(jié)論：對(duì)一個(gè)信息源編碼，按照其本身的概率分布進(jìn)行編碼，每個(gè)字符的平均比特?cái)?shù)目最少。這就是信息熵的概念，衡量了信息源本身的不確定性。另外，可以看出KL距離不滿足對(duì)稱性，即D(P||Q)不一定等于D(Q||P)。

當(dāng)然，我們也可以驗(yàn)證KL距離不滿足三角不等式條件。

上面的三個(gè)概率分布，D(B||C)=1/4log2+3/4log(6/7)。可以得到：D(A||C) - (D(A||B)+ D(B||C)) =1/2log2+1/4log(7/6)>0，這里驗(yàn)證了KL距離不滿足三角不等式條件。所以KL距離，并不是一種距離度量方式，雖然它有這樣的學(xué)名。

其實(shí)，KL距離在信息檢索領(lǐng)域，以及統(tǒng)計(jì)自然語(yǔ)言方面有重要的運(yùn)用。我們將會(huì)把它留在以后的章節(jié)中介紹。

其他相關(guān)鏈接：http://en.wikipedia.org/wiki/Kullback-Leibler_divergence

http://hi.baidu.com/shdren09/item/e6441ec2bd495b0e0ad93aca

利用信息論的方法可以進(jìn)行一些簡(jiǎn)單的自然語(yǔ)言處理

比如利用相對(duì)熵進(jìn)行分類或者是利用相對(duì)熵來衡量?jī)蓚€(gè)隨機(jī)分布的差距，當(dāng)兩個(gè)隨機(jī)分布相同時(shí)，其相對(duì)熵為0.當(dāng)兩個(gè)隨機(jī)分布的差別增加時(shí)，器相對(duì)熵也增加。我們下面的實(shí)驗(yàn)是為了橫量概率分布的差異。

試驗(yàn)方法、要求和材料

要求：

??? 1.任意摘錄一段文字，統(tǒng)計(jì)這段文字中所有字符的相對(duì)頻率。假設(shè)這些相對(duì)頻率就是這些字符的概率（即用相對(duì)頻率代替概率）；

??? 2.另取一段文字，按同樣方法計(jì)算字符分布概率；

??? 3.計(jì)算兩段文字中字符分布的KL距離；

??? 4.舉例說明（任意找兩個(gè)分布p和q）,KL距離是不對(duì)稱的，即D(p//q)!=D(q//p);

方法：

D（p//q）=sum(p(x)*log(p(x)/q(x)))。其中p(x)和q(x)為兩個(gè)概率分布

約定 0*log(0/q(x))=0;p(x)*log(p(x)/0)=infinity;

具體實(shí)驗(yàn)可參考：http://www.cnblogs.com/finallyliuyu/archive/2010/03/12/1684015.html

?

原文：KL距離，Kullback-Leibler Divergence - ywl925?

總結(jié)

以上是生活随笔為你收集整理的KL距离，Kullback-Leibler Divergence的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。