機(jī)器學(xué)習(xí)理論《統(tǒng)計(jì)學(xué)習(xí)方法》學(xué)習(xí)筆記：第六章 邏輯斯諦回歸與最大熵模型

• 6 邏輯斯諦回歸與最大熵模型
• • 6.1 邏輯斯諦回歸模型
  • • 6.1.1 邏輯斯諦分布
    • 6.1.2 二項(xiàng)邏輯斯蒂回歸模型
    • 6.1.3 模型參數(shù)估計(jì)
    • 6.1.4 多項(xiàng)邏輯斯諦回歸
  • 6.2 最大熵模型
  • • 6.2.1 最大熵原理
    • 6.2.2 最大熵模型的定義
    • 6.2.3 最大熵模型的學(xué)習(xí)
    • 6.2.4 極大似然估計(jì)
  • 6.3 模型學(xué)習(xí)的最優(yōu)化算法
  • • 6.3.1 改進(jìn)的迭代尺度法
    • 6.3.2 擬牛頓法

6 邏輯斯諦回歸與最大熵模型

邏輯斯諦回歸（logistic regression）是統(tǒng)計(jì)學(xué)習(xí)中的經(jīng)典分類方法。最大熵是概率模型學(xué)習(xí)的一個(gè)準(zhǔn)則，將其推廣到分類問(wèn)題得到最大熵模型（maximum entropy model）。邏輯斯諦回歸模型與最大熵模型都屬于對(duì)數(shù)線性模型。

6.1 邏輯斯諦回歸模型

6.1.1 邏輯斯諦分布

邏輯斯諦分布：設(shè)$X$是連續(xù)隨機(jī)變量，$X$服從邏輯斯諦分布是指$X$具有下列分布函數(shù)和密度函數(shù)：
$$F(x)=p(X\le x)=\frac{1}{1+e^{?(x?\mu )/\gamma }}$$
$$f(x)=F^{{}^{\prime }}(x)=\frac{e^{?(x?\mu )/\gamma }}{\gamma (1+e^{?(x?\mu )/\gamma }{)}^2}$$
$\mu$為位置參數(shù)，$\gamma >0$為形狀參數(shù)。
邏輯斯諦分布的密度函數(shù)$f(x)$和分布函數(shù)$F(x)$的圖像如下。

分布函數(shù)屬于邏輯斯諦函數(shù)，其圖形是一條S形曲線，以點(diǎn)$(\mu ,\frac{1}{2})$為中心對(duì)稱，即滿足
$$F(?x+\mu )?\frac{1}{2}=?F(x+\mu )+\frac{1}{2}$$
曲線在中心附近增長(zhǎng)速度快，在兩端增長(zhǎng)速度慢。形狀參數(shù)$\gamma$的值越小，曲線在中心附近增長(zhǎng)得越快。

6.1.2 二項(xiàng)邏輯斯蒂回歸模型

二項(xiàng)邏輯斯諦回歸模型是一種分類模型，由條件概率分布$P(Y|X)$表示，形式為參數(shù)化得邏輯斯諦分布。這里，隨機(jī)變量$X$取值為實(shí)數(shù)，隨機(jī)變量$Y$取值為1或0.通過(guò)監(jiān)督學(xué)習(xí)的方法來(lái)估計(jì)模型參數(shù)。

邏輯斯諦回歸模型
$二項(xiàng)邏輯斯諦回歸模型是如下的條件概率分布：$
$$P(Y=1|x)=\frac{exp(w?x+b)}{1+exp(w?x+b)}$$
$$P(Y=0|x)=\frac{1}{1+exp(w?x+b)}$$
$x\in R^n是輸入，Y\in \{0,1\}是輸出，w\in R^n和b\in R是參數(shù)，w稱為權(quán)值向量，b稱為偏置，w?x是w和x的內(nèi)積。$

$有時(shí)為了方便，將權(quán)值向量和輸入向量加以擴(kuò)充，仍記作w和x，即w=(w^{(1)},w^{(2)},?,w^{(n)},b{)}^T,x=(x^{(1)},x^{(2)},?,x^{(n)},1{)}^T.此時(shí)，邏輯斯諦回歸模型如下：$
$$P(Y=1|x)=\frac{exp(w?x)}{1+exp(w?x)}$$
$$P(Y=0|x)=\frac{1}{1+exp(w?x)}$$

現(xiàn)在考察邏輯斯諦回歸模型的特點(diǎn)。一個(gè)事件的幾率（odds）是指該事件發(fā)生的概率與該事件不發(fā)生的概率的比值。如果事件發(fā)生的概率是p，那么該事件的幾率是$$\frac{p}{1?p}$$,該事件的對(duì)數(shù)幾率（log odds）或logit函數(shù)是$$logit(p)=log\frac{p}{1?p}$$,對(duì)邏輯斯諦回歸而言:$$log\frac{P(Y=1|x)}{1?P(Y=1|x)}=w?x$$

在邏輯斯諦回歸模型中，輸出Y=1的對(duì)數(shù)幾率是輸入x的線性函數(shù)。或者說(shuō)，輸出Y=1的對(duì)數(shù)幾率是由輸入x的線性函數(shù)表示的模型，即邏輯斯諦回歸模型。

換一個(gè)角度看，考慮對(duì)輸入x進(jìn)行分類的線性函數(shù)$w?x$，其值域?yàn)閷?shí)數(shù)域，$x\in R^{n+1},w\in R^{n+1}$.通過(guò)邏輯斯諦回歸模型的定義式，可以將線性函數(shù)$w?x$轉(zhuǎn)換為概率：$$P(Y=1|x)=\frac{exp(w?x)}{1+exp(w?x)}$$這時(shí)，線性函數(shù)的值越接近正無(wú)窮，概率值就越接近1；線性函數(shù)的值越接近負(fù)無(wú)窮，概率值就越接近0.

6.1.3 模型參數(shù)估計(jì)

邏輯斯諦回歸模型學(xué)習(xí)時(shí)，對(duì)于給定的訓(xùn)練數(shù)據(jù)集
$$T=\{(x_1,y_1),(x_2,y_2),?,(x_n,y_n)\}$$
$$其中，x_i\in R^n,y_i\in \{0,1\}$$
可以應(yīng)用極大似然估計(jì)法估計(jì)模型參數(shù)，從而得到邏輯斯蒂回歸模型。

設(shè):$$P(Y=1|x)=\pi (x),P(Y=0|x)=1?\pi (x)$$
似然函數(shù)為：$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1?\pi (x_i){]}^{1?y_i}$$
對(duì)數(shù)似然函數(shù)為：
$$L(w)=\sum _{i=1}^N[y_{i}log\pi (x_i)+(1?y_i)log(1?\pi (x_i)]$$
$$=\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1?\pi (x_i)}+log(1?\pi (x_i))]$$
$$=\sum _{i=1}^N[y_i(w?x_i)?log(1+exp(w?x_i))]$$
$對(duì)L(w)求極大值，得到w的估計(jì)值。$

6.1.4 多項(xiàng)邏輯斯諦回歸

二項(xiàng)邏輯斯諦回歸模型是二項(xiàng)分類模型，用于二類分類。可以將其推廣為多項(xiàng)邏輯斯諦回歸模型，用于多分類。假設(shè)離散型隨機(jī)變量Y的取值集合是{1,2,…,K}，那么多項(xiàng)邏輯斯諦回歸模型是：
$$P(Y=k|x)=\frac{exp(w_k?x)}{1+{\sum }_{k=1}^{K?1}exp(w_k?x)},k=1,2,?,K?1$$
$$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K?1}exp(w_k?x)}$$
$這里，x\in R^{n+1},w_k\in R^{n+1}$

6.2 最大熵模型

6.2.1 最大熵原理

最大熵原理是概率模型學(xué)習(xí)的一個(gè)準(zhǔn)則。最大熵原理認(rèn)為，學(xué)習(xí)概率模型時(shí)，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用約束條件來(lái)確定概率模型的集合，所以，最大熵原理也可以表述為在滿足約束條件的模型集合中，選取熵最大的模型。

假設(shè)離散隨機(jī)變量$X$的概率分布是$P(X)$，則其熵是
$$H(P)=?\sum _{x}P(x)logP(x)$$
熵滿足下列不等式：
$$0\le H(P)\le log|X|$$
式子中，$|X|$是$X$的取值個(gè)數(shù)，當(dāng)且僅當(dāng)$X$的分布是均勻分布時(shí)，右邊的等號(hào)成立。這就是說(shuō)，當(dāng)$X$服從均勻分布時(shí)，熵最大。

直觀地，最大熵原理認(rèn)為要選擇的概率模型首先必須滿足已有的事實(shí)，即約束條件。在沒(méi)有更多信息的情況下，那些不確定的部分都是等可能的。最大熵原理通過(guò)熵的最大化來(lái)表示可能性。等可能不容易操作，而熵則是一個(gè)可優(yōu)化的數(shù)值指標(biāo)。

概率模型集合圖提供了用最大熵原理進(jìn)行概率模型選擇的幾何解釋。

概率模型集合$\rho$可由歐氏空間中的單純形（simplex）表示，如左圖的三角形。一個(gè)點(diǎn)代表一個(gè)模型，整個(gè)單純形代表整個(gè)集合。右圖上的一條直線對(duì)應(yīng)于一個(gè)約束條件，直線的交集對(duì)應(yīng)于滿足所有約束條件的模型集合。一般地，這樣的模型仍有無(wú)窮多個(gè)，學(xué)習(xí)的目的是在可能的模型集合中選擇最優(yōu)模型，而最大熵原理給出最優(yōu)模型選擇的一個(gè)準(zhǔn)則。

6.2.2 最大熵模型的定義

最大熵原理是統(tǒng)計(jì)學(xué)習(xí)的一般原理，將它應(yīng)用到分類得到最大熵模型。
假設(shè)分類模型是一個(gè)條件概率分布$P(Y|X)$.這個(gè)模型表示的是對(duì)于給定的輸入X，以條件概率$P(Y|X)$輸出Y。
給一個(gè)訓(xùn)練集$$T=\{(x_1,y_1),(x_1,y_1),?,(x_1,y_1)\}$$學(xué)習(xí)的目標(biāo)是最大熵原理選擇最好的分類模型。
用特征函數(shù)$f(x,y)$描述輸入x和輸出y之間的某一個(gè)事實(shí)。其定義是
$$f(x,y)=\{\begin{array}{ll}1,& \text{x與y滿足某一事實(shí)}\\ 0,& \text{否則}\end{array}$$
它是一個(gè)二值函數(shù)，當(dāng)x和y滿足這個(gè)事實(shí)時(shí)取值為1，否則取值為0.

最大熵模型
$假設(shè)滿足所有約束條件的模型為$
$$C\equiv \{P\in \mathrm{P}|E_{\tilde{p}}(f_i),i=1,2,?,n\}$$
$定義在條件概率分布P(Y|X)上的條件熵為$
$$H(P)=?\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
$則模型集合C中條件熵H(P)最大的模型稱為最大熵模型，式子中的對(duì)數(shù)為自然對(duì)數(shù)。$

6.2.3 最大熵模型的學(xué)習(xí)

最大熵模型的學(xué)習(xí)過(guò)程就是求解最大熵模型的過(guò)程。最大熵模型的學(xué)習(xí)可以形式化為約束最優(yōu)化問(wèn)題。

對(duì)于給定的訓(xùn)練數(shù)據(jù)集$$T=\{(x_1,y_1),(x_2,y_2),?,(x_N,y_N)\}$$
以及特征函數(shù)$f_i(x,y),i=1,2,?,n$，最大熵模型的學(xué)習(xí)等價(jià)于約束最優(yōu)化問(wèn)題：
$$ma{x}_{P\in C}H(P)=?\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
$$s.t.E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,?,n$$
$$\sum _{y}P(y|x)=1$$

6.2.4 極大似然估計(jì)

下面證明對(duì)偶函數(shù)的極大化等價(jià)于最大熵模型的極大似然估計(jì)。
最大熵模型與邏輯斯諦回歸模型有類似的形式，它們又稱為對(duì)數(shù)線性模型。模型學(xué)習(xí)就是在給定的訓(xùn)練數(shù)據(jù)下，對(duì)模型進(jìn)行極大似然估計(jì)或正則化的極大似然估計(jì)。

6.3 模型學(xué)習(xí)的最優(yōu)化算法

邏輯斯諦回歸模型、最大熵模型學(xué)習(xí)歸結(jié)為以似然函數(shù)為目標(biāo)函數(shù)的最優(yōu)化問(wèn)題，通常通過(guò)迭代算法求解。從最優(yōu)化的觀點(diǎn)看，這時(shí)的目標(biāo)函數(shù)具有很好的性質(zhì)。它是光滑的凸函數(shù)，因此多種最優(yōu)化的方法都適用，保證能找到全局最優(yōu)解。
常用的方法有改進(jìn)的迭代尺度法、梯度下降法、牛頓法或擬牛頓法。牛頓法或擬牛頓法一般收斂速度更快。

6.3.1 改進(jìn)的迭代尺度法

改進(jìn)的迭代尺度法（improved iterative scaling，IIS）是一種最大熵模型學(xué)習(xí)的最優(yōu)化算法。
已知最大熵模型為$$P_w(y|x)=\frac{1}{Z_w(x)}(\sum _{i=1}^n{w}_i{f}_i(x,y))$$
其中，$$Z_w(x)=\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$
對(duì)數(shù)似然函數(shù)為$$L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)?\sum _x\tilde{P}(x)log{Z}_w(x)$$
目標(biāo)是通過(guò)極大似然估計(jì)學(xué)習(xí)模型參數(shù)，即求對(duì)數(shù)似然函數(shù)的極大值$\hat{w}$

IIS的想法是：假設(shè)最大熵模型當(dāng)前的參數(shù)向量是$w=(w_1,w_2,?,w_n{)}^T$，希望找到一個(gè)新的參數(shù)向量$w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,?,w_n+{\delta }_n{)}^T$，使得模型的對(duì)數(shù)似然函數(shù)值增大。如果能有這樣一種參數(shù)向量更新的方法 $\tau :w\to w+\delta$，那么就可以重復(fù)使用這一方法，直至找到對(duì)數(shù)似然函數(shù)的最大值。

6.3.2 擬牛頓法

總結(jié)

以上是生活随笔為你收集整理的机器学习理论《统计学习方法》学习笔记：第六章 逻辑斯谛回归与最大熵模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。