目錄

緣起邏輯回歸

Sigmoid

Softmax

---

緣起邏輯回歸

邏輯回歸模型是用于二類分類的機(jī)器學(xué)習(xí)模型（不要說(shuō)邏輯回歸可以做多類分類啊喂，那是二類分類器的組合策略問(wèn)題，而與邏輯回歸分類器本身的構(gòu)造沒(méi)有半毛錢關(guān)系啊）。

我們知道，在邏輯回歸中，用于預(yù)測(cè)樣本類別的假設(shè)函數(shù)為

（小夕要講大事，忽略偏置項(xiàng)參數(shù)和向量轉(zhuǎn)置這種細(xì)節(jié)啦）,其中sigmoid函數(shù)的圖像看起來(lái)是這樣的：

因此，我們將的樣本預(yù)測(cè)為正類別（記為類別1），將的樣本預(yù)測(cè)為負(fù)類別（記為類別0）。因此對(duì)于sigmoid(z)函數(shù)來(lái)說(shuō)，z=0的點(diǎn)就是用來(lái)分類的臨界點(diǎn)。所以在邏輯回歸中，的點(diǎn)就是分類的臨界點(diǎn)。
可是你有想過(guò)為什么嗎？（是的，這并不是拍腦袋決定的）
如果覺(jué)得小夕的這種問(wèn)法很奇怪，那小夕換一種問(wèn)法，你知道是代表什么意思嗎？它難道僅僅代表了“特征向量與模型參數(shù)做內(nèi)積”這么膚淺的含義嗎？
聽(tīng)小夕慢慢講，手指慢慢劃，跟上思路哦。
首先，模型參數(shù)是個(gè)向量，維數(shù)與樣本的維數(shù)一致（忽略偏置項(xiàng)這種細(xì)節(jié)問(wèn)題啦）,為了好看，下文用w來(lái)代替。
我們來(lái)好好看看這個(gè)所謂的模型參數(shù)w。這個(gè)w在本質(zhì)上是，記為。誒？怎么能這樣呢？如何理解被拆出來(lái)的這兩個(gè)w呢？
其實(shí)只要把這個(gè)向量看作是對(duì)類別1的直接描述，將向量看作是對(duì)類別0的直接描述，新世界的大門就打開(kāi)了。還記得前面小夕講的，在邏輯回歸模型中，本質(zhì)上用來(lái)預(yù)測(cè)類別的臨界點(diǎn)就是，也就是，這代表什么意思呢？

我們知道，對(duì)于向量a和向量b，假設(shè)它們的長(zhǎng)度都為1，那么當(dāng)向量a與向量b夾角最小時(shí)，它們的內(nèi)積，也就是會(huì)最大。當(dāng)然了，推廣到更一般的說(shuō)法，不限制a與b的長(zhǎng)度，則當(dāng)a與b夾角最小時(shí)，我們稱a與b的余弦相似度最大

而兩向量的夾角越小意味著什么呢？意味著這兩個(gè)向量越相似呀，意味著越親密呀。所以就意味著類別1與特征向量x的親密度減去類別0與x的親密度。因此當(dāng)邏輯回歸的假設(shè)函數(shù)時(shí)，也就是時(shí)，就代表著特征向量x，也就是樣本，與類別1更親密，因此類別預(yù)測(cè)為1。同樣的道理，當(dāng)x與類別0更親密時(shí)，類別預(yù)測(cè)為0。
繼續(xù)，我們將上述神奇的邏輯放到邏輯回歸模型的假設(shè)函數(shù)的展開(kāi)式中，將替換為我們上面的得：

等等，有沒(méi)有驚恐的發(fā)現(xiàn)什么？還記得小夕在上一篇文章《邏輯回歸》中得到的這個(gè)結(jié)論嗎？：

天吶，邏輯回歸的假設(shè)函數(shù)竟然與P(Y=1|X)一模一樣！都是！！這個(gè)sigmoid函數(shù)到底是什么？一切真的都是因?yàn)榍珊蠁?#xff1f;不行，小夕非要一探究竟！來(lái)，手術(shù)刀拿來(lái)，解剖！

Sigmoid

為了美觀，我們直接用w1代替，用w0代替：

如果我們令分子分母同除以。。。得：

！！！有沒(méi)有被震驚到！
小夕在前面講了，w1與x的內(nèi)積代表著w1與x的親密度，這個(gè)不就代表著“類別1與x的親密度占x與所有類別親密度之和的比例”嗎？
既然是比例，那肯定是0到1之間的數(shù)呀~而這個(gè)比例又可以解讀為什么呢？不就是類別1在x心中的分量嗎？當(dāng)類別1在x心中的分量超過(guò)類別0在x心中的分量時(shí)，我們的邏輯回歸模型當(dāng)然要把類別1嫁給x呀~也就是將類別1作為預(yù)測(cè)的類別！
同時(shí)，這個(gè)分量越大，我們將類別1嫁給x后，會(huì)讓x滿意的概率就越大！所以這個(gè)比例又是類別1的后驗(yàn)概率P(y=1|x)呀！看，一切都不是巧合吧。Sigmoid函數(shù)的意義，竟然如此深邃。
等等，雖然sigmoid(w1·x)代表"類別1與x的親密度占x與所有類別親密度之和的比例"，但是顯然這里只有兩個(gè)類別，即1和0，也就是說(shuō)Sigmoid是一個(gè)只能用于二類分類的函數(shù)。
那么如果我們要分類的類別超過(guò)2，我們能不能同樣用一個(gè)函數(shù)來(lái)表示出“某類別與x的親密度占x與所有類別親密度之和的比例”呢？

?

Softmax

這一次，我們倒著來(lái)！假如我們的分類任務(wù)有k個(gè)類別，與前面用w1、w0來(lái)表示類別1、類別2一樣，我們用w1、w2、w3...wk來(lái)表示各個(gè)類別。
根據(jù)前面的經(jīng)驗(yàn)，這個(gè)“類別j與特征向量x的親密度”貌似可以表示為，那么我們效仿一下sigmoid，類別j與x的親密度占x與所有類別親密度之和的比例即:

將分母用整理一下，發(fā)現(xiàn)了沒(méi)有！這就是深度學(xué)習(xí)中廣泛應(yīng)用的大名鼎鼎的Softmax函數(shù)：

哎，原來(lái)看似深不可測(cè)的Softmax函數(shù)，只是Sigmoid的一種推廣形式，其深邃意義與Sigmoid并無(wú)二致。哎，失望，Softmax也就這樣啦╮(╯▽╰)╭怪小夕咯？

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的Sigmoid函数与Softmax函数的区别与联系的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。