生成模型学习笔记：从高斯判别分析到朴素贝叶斯
機(jī)器之心專欄
作者：張威
翻譯：燕子石
本文是哥倫比亞大學(xué)研究生張威在生成模型上的學(xué)習(xí)筆記，由畢業(yè)于新西蘭奧克蘭理工大學(xué)的燕子石翻譯。機(jī)器之心之前曾介紹過張威所寫的吳恩達(dá)《機(jī)器學(xué)習(xí)》課程的學(xué)習(xí)筆記。
英文原版地址：https://wei2624.github.io/MachineLearning/sv_generative_model/
中文翻譯地址：https://air-yan.github.io/machine%20learning/Generative-Learning-Algorithm/
1 判別模型
判別模型是一種對觀測數(shù)據(jù)進(jìn)行直接分類的模型，常見的模型有邏輯回歸和感知機(jī)學(xué)習(xí)算法等。此模型僅對數(shù)據(jù)進(jìn)行分類，并不能具象化或者量化數(shù)據(jù)本身的分布狀態(tài)，因此也無法根據(jù)分類生成可觀測的圖像。
定義上，判別模型通過構(gòu)建條件概率分布 p(y|x;θ) 預(yù)測 y，即在特征 x 出現(xiàn)的情況下標(biāo)記 y 出現(xiàn)的概率。此處 p 可以是邏輯回歸模型。
2 生成模型
與判別模型不同，生成模型首先了解數(shù)據(jù)本身分布情況，并進(jìn)一步根據(jù)輸入 x，給出預(yù)測分類 y 的概率。該模型有著研究數(shù)據(jù)分布形態(tài)的概念，可以根據(jù)歷史數(shù)據(jù)生成新的可觀測圖像。
貝葉斯分類就是一個典型的例子。在這個例子中，我們有一個先驗分類，根據(jù)這個先驗分類，我們可以使用貝葉斯原理計算每個分類的概率，然后取概率最高的概率。同時，我們還可以根據(jù)特定的先驗生成特征。這就是一個生成過程。
3 高斯判別分析
高斯判別分析（GDA）是一個生成模型，其中 p(x|y) 是多元高斯正態(tài)分布。
3.1 多元高斯正態(tài)分布
在多元正態(tài)分布中，一個隨機(jī)變量是一個在維度為 n 的 Rn 空間中的矢量值。因此，多元高斯的均值向量 μ∈Rn，協(xié)方差矩陣Σ∈Rn x n，其中$ \ Sigma 是對稱的半正定矩陣。其概率密度函數(shù)為：
?
如上所述，μ是期望值。
向量值隨機(jī)變量 Z 的協(xié)方差為：
?
下圖顯示了均值為零但不同協(xié)方差的幾個密度函數(shù)。
?
以下為上圖的協(xié)方差（從左到右）：
?
4 高斯判別分析和邏輯回歸
4.1 高斯判別分析
我們再來談?wù)劧诸惖膯栴}，我們可以用多元高斯模型對 p(x|y) 進(jìn)行建模。總的來講，我們有：
?
其中φ，μ0，μ1，Σ是我們想要找出的參數(shù)。請注意，雖然我們對不同的類有不同的均值，但我們在不同的類之間有著共享的協(xié)方差。
為什么它是一個生成模型？簡而言之，我們有一個類的先驗概率，這個類是伯努利分布。生成過程是（1）從伯努利分布中抽樣。（2）基于類標(biāo)簽，我們從相應(yīng)的分布中抽取 x。
所以，該數(shù)據(jù)的對數(shù)似然函數(shù)值是：
?
在上面的等式中，我們插入各個分布而不指明任何類，我們僅將它們抽象為 k。所以我們有：
?
現(xiàn)在，我們需要對每個參數(shù)進(jìn)行取導(dǎo)，然后將它們設(shè)為零找到 argmax（函數(shù)值最大時對應(yīng)的輸入值 x）。一些可能對推導(dǎo)有用的公式列舉如下：
（如果 A 是對稱的并且與 x 相互獨(dú)立）
?
證明： 矩陣 A 是對稱矩陣，所以 A= AT 并假設(shè)空間維度為 n。
?
雅可比公式：
?
證明：
?
證明：
這個證明有些復(fù)雜。你應(yīng)該事先了解克羅內(nèi)克函數(shù)和 Frobenius 內(nèi)部乘積。對于矩陣 X，我們可以寫成：
?
你可以將 H 視為 Frobenius 內(nèi)積的標(biāo)識元素。在開始證明之前，讓我們準(zhǔn)備好去找逆矩陣的導(dǎo)數(shù)。也就是說，?X-1/?X。
?
所以我們可以這么解：
?
接著，讓我們回到正題：
?
其中 F 表示 Frobenius 內(nèi)積。
接著，帶回到原始公式：
?
現(xiàn)在，我們已經(jīng)有足夠的準(zhǔn)備去找到每個參數(shù)的梯度了。
對?取導(dǎo)并設(shè)為 0：
?
對 μk 取導(dǎo)并設(shè)為 0：
?
對 Σ 取導(dǎo)并設(shè)為 0:
?
結(jié)果如圖所示：
?
請注意，由于有著共享協(xié)方差，因此上圖兩個輪廓的形狀是相同的，但均值則不同。在邊界線上（自左上到右下的直線），每個類的概率為 50%。
4.2 高斯判別分析（GDA）和邏輯回歸
高斯判別分析是如何與邏輯回歸相關(guān)聯(lián)的呢？我們可以發(fā)現(xiàn)如果上述 p(x|y) 是具有共享協(xié)方差的多元高斯，我們就可以計算 p(x|y) 然后發(fā)現(xiàn)它是遵循邏輯函數(shù)的。要證明這一點(diǎn)，我們可以：
?
由于高斯屬于指數(shù)族，我們最終可以將分母中的比率轉(zhuǎn)換為 exp（θTx），其中 θ 是φ，μ0，μ1，Σ的函數(shù)。
同樣的，如果 p(x|y) 是具有不同 λ 的泊松分布，則 p(x|y) 也遵循邏輯函數(shù)。這意味著 GDA 模型本身有一個強(qiáng)假設(shè)，即每個類的數(shù)據(jù)都可以用具有共享協(xié)方差的高斯模型建模。但是，如果這個假設(shè)是正確的話，GDA 將可以更好并且更快地訓(xùn)練模型。
另一方面，如果不能做出假設(shè)，邏輯回歸就不那么敏感了。因此，你可以直接使用邏輯回歸，而無需接觸高斯假設(shè)或 Possion 假設(shè)。
5 樸素貝葉斯
在高斯判別分析中，隨機(jī)變量應(yīng)使用具有連續(xù)值特征的數(shù)據(jù)。而樸素貝葉斯則用于學(xué)習(xí)離散值隨機(jī)變量，如文本分類。在文本分類中，模型基于文本中的單詞將文本標(biāo)記為二進(jìn)制類，單詞被向量化并用于模型訓(xùn)練。一個單詞向量就像一本字典一樣，其長度是字典中單詞儲存的數(shù)量，其二進(jìn)度值則代表著是否為某個詞。一個單詞在單詞向量中由 1 表示「是」，而單詞向量中的其他位置則是 0。
然而，這可能并不起作用。比方說，如果我們有 50,000 個單詞并嘗試將其建模為多項式，則參數(shù)的維數(shù)為 250,000-1,250,000-1，這太大了。因此，為了解決這個問題，我們做出了
樸素貝葉斯假設(shè)：
基于給定分類下，每個詞彼此間條件獨(dú)立。
于是，我們有：?
我們對第一步應(yīng)用概率論中的鏈?zhǔn)椒▌t，對第二步應(yīng)用樸素貝葉斯假設(shè)。
找到對數(shù)似然函數(shù)值的最大值：
其中 ?j|y=1 = P (xj=1|y=1)，? j|y=1 = P(xj=1|y=1), ?j|y=0 = P(xj=1|y=0) 并且 ?y= p(y=1)。這些是我們需要訓(xùn)練的參數(shù)。
我們可以對其求導(dǎo):
?
為了預(yù)測新樣本，我們可以使用貝葉斯法則來計算 P（y = 1 | x）并比較哪個更高。
?
延伸: 在這種情況下，因為 y 是二進(jìn)制值（0，1），我們將 P（xi | y）建模為伯努利分布。也就是說，它可以是「有那個詞」或「沒有那個詞」。伯努利將類標(biāo)簽作為輸入并對其概率進(jìn)行建模，前提是它必須是二進(jìn)制的。如果是處理非二進(jìn)制值 Xi，我們可以將其建模為多項式分布，多項式分布可以對多個類進(jìn)行參數(shù)化。
總結(jié): 樸素貝葉斯適用于離散空間，高斯判別分析適用于連續(xù)空間。我們?nèi)魏螘r候都能將其離散化。
6 拉普拉斯平滑處理
上面的示例通常是好的，不過當(dāng)新郵件中出現(xiàn)過去訓(xùn)練樣本中不存在的單詞時，該模型將會預(yù)測失敗。在這種情況下，它會因為模型從未看到過這個詞而導(dǎo)致兩個類的φ變?yōu)榱?#xff0c;以至于無法進(jìn)行預(yù)測。
這時我們則需要另一個解決方案，其名為拉普拉斯平滑，它將每個參數(shù)設(shè)置為：
?
其中 k 是類的數(shù)量。在實(shí)際操作中，拉普拉斯平滑并沒有太大的區(qū)別，因為我們的模型中通常包含了所有的單詞，但有一個備用計劃總是極好的！
本文為機(jī)器之心專欄，轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)。
?------------------------------------------------
加入機(jī)器之心（全職記者 / 實(shí)習(xí)生）：hr@jiqizhixin.com
投稿或?qū)で髨蟮?#xff1a;content@jiqizhixin.com
廣告 & 商務(wù)合作：bd@jiqizhixin.com
總結(jié)
以上是生活随笔為你收集整理的生成模型学习笔记：从高斯判别分析到朴素贝叶斯的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： keepalived lvs
- 下一篇： 在测试集上训练，还能中CVPR？这篇IE