一、問題的引出

????最大熵模型的學習過程就是求解最大熵模型的過程。最大熵模型的學習可以形式化為約束最優化問題。
????對于給定的訓練數據集T={(x1,y1),(x2,y2),…,(xn,yn)}及特征函數fi(x,y)，i=1,2,…,n,最大熵模型的學習等價于約束最優化問題：

maxP∈CH(P)=?∑x,yP?(x)P(y|x)logP(y|x)s.t.Ep(fi)=Ep?(fi),i=1,2,…,n∑yP(y|x)=1
上式等價于：
minP∈C?H(P)=∑x,yP?(x)P(y|x)logP(y|x)s.t.Ep(fi)?Ep?(fi)=0,i=1,2,…,n∑yP(y|x)=1
????求解上式有約束的最優化問題，所得出的解，就是最大熵模型學習的解。

二、推導過程

????將約束最優化的原問題轉換為無約束最優化問題的對偶問題，通過求解對偶問題求解原問題。
???? 首先，引入拉格朗日乘子w0,w1,?，wn, 定義拉格朗日函數L(P,w):

L(P,w)=?H(P)+w0(1?∑yP(y|x))+∑inwi(Ep(fi)?Ep?(fi))=∑x,yP?(x)P(y|x)logP(y|x)+w0(1?∑yP(y|x))+∑inwi(∑x,yP?(x,y)fi(x,y)?∑x,yP?(x)P(y|x)fi(x,y))
最優化的原始問題是：
minP∈CmaxwL(P,w)
對偶問題是：
maxwminP∈CL(P,w)
由于拉格朗日函數 L(P,w) 是 P的凸函數， 原問題的解與對偶問題的解是等價的。
首先求minP∈CL(P,w), minP∈CL(P,w)是 w的函數，記為：
Ψ(w)=minP∈CL(Pw,w),
Ψ(w)的解 記為：
Pw=argminP∈CL(P,w)=Pw(y|x)
求 L(P,w)對 P(y|x)的偏導數:
?L(P,w)?P(y|x)=∑x,yP?(x)(logP(y|x)+1)?∑yw0?∑x,y(P?(x)∑i=1nwifi(x,y))
令 偏導數=0 ，當 P?(x)>0時，
P(y|x)=exp(∑i=1nwifi(x,y)+w0?1)=exp(∑ni=1wifi(x,y))exp(1?w0)
由于 ∑yP(y|x)=1得：
exp(1?w0)=∑yexp(∑i=1nwifi(x,y))=Zw(x)Pw(y|x)=1Zw(x)exp(∑i=1nwifi(x,y))
其中， Zw(x)稱為規范化因子， fi(x,y)為特征函數， wi是特征權值。 Pw(y|x)就是最大熵模型。之后，求解對偶問題的最大化：
maxwΨ(w)
將其解記為：
w?=argmaxwΨ(w)

總結

以上是生活随笔為你收集整理的机器学习笔记（二十）——求解最大熵模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。