從jensen不等式到相對熵的非負性性

?前言：在上上次博客我們證明觀測到的歸一化的頻率就是最大似然估計的解時，我們用到了相對熵恒大于等于0的性質，那么本文就當是擴展一下知識，主要以證明和介紹為主。
? 首先我們簡要介紹一下熵的概念。“熵”這一概念并不僅僅存在于物理化學中，還應用于信息論中。熵是結果不確定度的一種度量。shannon熵定義為：
$H(x)=?{\sum }_{i}P\left(x_i\right)\log P\left(x_i\right)$
其中X為隨機變量，它在K個事件$x_1$,$x_2$,$x_k$的離散集合上有概率P($x_i$)
?ps:我們可以試著證明一下當其實均勻分布時，它的熵值最大。(思路提示：可以用用最小二乘法。具體詳見下篇文章。)
? 相對熵又稱KL散度，信息散度，是兩個概率分布間差異的非對稱性度量。令P(X),Q(X)是隨機變量X的概率分布，則在其實離散型隨機變量的情況下，相對熵為：
$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$
? 故我們觀察相對熵的形式可以發現，它可以看做是對數幾率(計分矩陣中的分值)的期望，即將P(X)看做是在匹配模型M中的殘基a,b的聯配概率，而Q(X)看做是無關模型中的殘基a,b的獨立出現的概率。故相對熵可作為模型的期望分值。
? 回歸本文的主題，即證明相對熵的正定性。因為證明的過程中用到了jensen
不等式，所以我們先證明一下jensen不等式。
? jensen不等式在概率論、機器學習、測度論等有著廣泛的應用。
?證明之前我們先了解凸函數的性質：
$tf\left(x_1\right)+(1?t)f\left(x_2\right)\ge f\left(t{x}_1+(1?t)x_2\right)$
$x_1$,$x_2$是凸函數上的任意兩點，且t屬于[0,1]

證明過程如下：
? 若對于任意的點集{$x_i$},若${\lambda }_i$>0,且${\sum }_i{\lambda }_i=1$， 請證明凸函數f(x)滿足：
$f\left({\sum }_{i=1}^M{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$
數學歸納法進行證明：
當i=1或2時，由凸函數的性質一易知該不等式成立。
假設當i=M時，不等式成立。
現在證當i=M+1時，該不等式也成立。即證明： $f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^{M+1}{\lambda }_{i}f\left(x_i\right)$ ?我們首先處理不等號左邊的式子：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)$ = $f\left({\sum }_{i=1}^M{\lambda }_i{x}_i+{\lambda }_{M+1}{x}_{M+1}\right)$
為了符合凸函數中t,(1-t)的形式，我們令$a_i=\frac{{\lambda }_i}{1?{\lambda }_{M+1}}$

故 $f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)$=$f\left({\lambda }_{M+1}{x}_{M+1}+\left(1?{\lambda }_{M+1}\right){\sum }_{i=1}^M{a}_i{x}_i\right)$
所以根據凸函數的性質對等號右邊的式子進一步處理可得：

$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\lambda }_{M+1}f\left(x_{M+1}\right)+\left(1?{\lambda }_{M+1}\right)f\left({\sum }_{i=1}^M{a}_i{x}_i\right)$
根據我們的假設當i=M,不等式成立得：
$f\left({\sum }_{i=1}^m{a}_i{x}_i\right)?{\sum }_{i=1}^M{a}_{i}f\left(x_i\right)$
所以將上一個式子帶入上上個式子中得：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\lambda }_{M+1}f\left(x_{M+1}\right)+\left(1?{\lambda }_{M+1}\right){\sum }_{i=1}^M{a}_{i}f\left(x_i\right)$

又因為$a_i=\frac{{\lambda }_i}{1?{\lambda }_{M+1}}$ 代入得：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)?{\lambda }_{M+1}f\left(x_{M+1}\right)+{\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$=${\sum }_{i=1}^{M+1}{\lambda }_{i}f\left(x_i\right)$
?因此當i=M+1時，jensen不等式亦成立。
綜上，jensen不等式成立。同理可證，但函數為凹函數時，jensen不等式的符號相反。
?jensen不等式可以用來證明均值不等式、Holder不等式以及柯西不等式。同時jensen不等式可以用來證明相對熵的正定性。
All right, 我們已經證明了jensen不等式成立，可以放心的使用啦。
?相對熵的非負性性證明：
證明：$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ >=0
即證：-$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ <=0
即證： ${\sum }_{i}P\left(x_i\right)\log Q\left(x_i\right)+{\sum }_{i}P\left(x_i\right)\log \frac{1}{P\left(x_i\right)}$ <=0
因為將P(x)看做是自變量，故$\log \frac{1}{P\left(x_i\right)}$可看做是凹函數。
故在凹函數下，根據jensen不等式：
$f\left({\sum }_{i=1}^M{\lambda }_i{x}_i\right)?{\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$
故：
${\sum }_{i}P\left(x_i\right)\log \frac{1}{P\left(x_i\right)}$<=$\log 1$=0
即可證：
-$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ <=0
證得：
$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$>=0

參考資料：劉勇. 關于詹森不等式證明不等式問題[J]. 科教文匯(29期):136-136.

總結

以上是生活随笔為你收集整理的从jensen不等式到相对熵的非负性性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。