KL距離，是Kullback-Leibler差異（Kullback-Leibler Divergence）的簡稱，也叫做相對熵（Relative Entropy）。它衡量的是相同事件空間里的兩個(gè)概率分布的差異情況。并不是一種距離度量方式，其物理意義是：在相同事件空間里，概率分布P(x)對應(yīng)的每個(gè)事件，若用概率分布 Q(x)編碼時(shí)，平均每個(gè)基本事件（符號）編碼長度增加了多少比特。我們用D（P||Q）表示KL距離，計(jì)算公式如下：
$$D(P||Q)=\sum _{x\in X}P(x)log\frac{P(x)}{Q(x)}\text{\hspace{1em}(1)}$$
由公式（1）可以知道：

當(dāng)P(x)=Q(x)時(shí)，D(P||Q)=0,即其相對熵為零。

當(dāng)P(x)和Q(x)相似度越高時(shí)，KL距離越小

D(P||Q)非負(fù)（非負(fù)性）

不滿足對稱性，即D(P||Q)≠D(Q||P)

不滿足三角不等式

下面我們舉例來解釋一下：
以下列出了三個(gè)概率分布，已知真實(shí)事件的概率分布為f,如下表達(dá)式（2）它只有兩種狀態(tài)（0或1），剩下的兩個(gè)分布是對f的擬合，如下表達(dá)式（3）和（4），求他們與真實(shí)分布f的差異。
$$f(0)=\frac{1}{2},f(1)=\frac{1}{2}\text{\hspace{1em}(2)}$$
$$f_1^{?}(0)=\frac{1}{3},f_1^{?}(1)=\frac{2}{3}\text{\hspace{1em}(3)}$$
$$f_2^{?}(0)=\frac{1}{4},f_2^{?}(1)=\frac{3}{4}\text{\hspace{1em}(4)}$$
通過計(jì)算我們可以得到：
$$\begin{gathered} D(f||f_1^{?})=\sum _{x\in X}f(x)log\frac{f(x)}{f_1^{?}(x)}=f(0)log\frac{f(0)}{f_1^{?}(0)}+f(1)log\frac{f(1)}{f_1^{?}(1)} \\ =\frac{1}{2}log\frac{\frac{1}{2}}{\frac{1}{3}}+\frac{1}{2}log\frac{\frac{1}{2}}{\frac{2}{3}}=\frac{1}{2}log\frac{9}{8}\text{\hspace{1em}(5)} \end{gathered}$$
$$\begin{gathered} D(f||f_2^{?})=\sum _{x\in X}f(x)log\frac{f(x)}{f_2^{?}(x)}=f(0)log\frac{f(0)}{f_2^{?}(0)}+f(1)log\frac{f(1)}{f_2^{?}(1)} \\ =\frac{1}{2}log\frac{\frac{1}{2}}{\frac{1}{4}}+\frac{1}{2}log\frac{\frac{1}{2}}{\frac{3}{4}}=\frac{1}{2}log\frac{4}{3}\text{\hspace{1em}(6)} \end{gathered}$$
由（5）和（6）的計(jì)算我們可以知道，較真實(shí)數(shù)據(jù)分布相比，我們擬合的分布平均編碼長度增加了，同時(shí)第（3）種分布較第（4）種分布的KL距離更小，說明第（3）種分布更接近真實(shí)分布。

為了證明其不滿足對稱性，我們做如下計(jì)算：
$$\begin{gathered} D(f_2^{?}||f)=\sum _{x\in X}{f}_2^{?}(x)log\frac{f_2^{?}(x)}{f(x)}=f_2^{?}(0)log\frac{f_2^{?}(0)}{f(0)}+f_2^{?}(1)log\frac{f_2^{?}(1)}{f(1)} \\ =\frac{1}{4}log\frac{\frac{1}{4}}{\frac{1}{2}}+\frac{3}{4}log\frac{\frac{3}{4}}{\frac{1}{2}}=\frac{1}{4}log\frac{1}{2}+\frac{3}{4}log\frac{3}{2}=\frac{1}{4}log\frac{27}{16}?=\frac{1}{2}log\frac{4}{3}\text{\hspace{1em}(7)} \end{gathered}$$

由計(jì)算（7）可以知道，KL距離不滿足對稱性。

KL距離的幾個(gè)用途：

衡量兩個(gè)概率分布的差異。

衡量利用概率分布Q 擬合概率分布P 時(shí)的能量損耗，也就是說擬合以后丟失了多少的信息。

衡量兩個(gè)概率分布的相似度，在運(yùn)動(dòng)捕捉里面可以衡量未添加標(biāo)簽的運(yùn)動(dòng)與已添加標(biāo)簽的運(yùn)動(dòng)，進(jìn)而進(jìn)行運(yùn)動(dòng)的分類。

參考博客：
https://blog.csdn.net/scw1023/article/details/59109922

總結(jié)

以上是生活随笔為你收集整理的KL距离（Kullback-Leibler Divergence）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。