從線性分類器談起

????????給定一些數(shù)據(jù)集合，他們分別屬于兩個(gè)不同的類別。例如對(duì)于廣告數(shù)據(jù)來說，是典型的二分類問題，一般將被點(diǎn)擊的數(shù)據(jù)稱為正樣本，沒被點(diǎn)擊的數(shù)據(jù)稱為負(fù)樣本。現(xiàn)在我們要找到一個(gè)線性分類器，將這些數(shù)據(jù)分為兩類。用X表示樣本數(shù)據(jù)，Y表示樣本類別（例如1與-1，或者1與0）。我們線性分類器的目的，就是找到一個(gè)超平面將兩類樣本分開。對(duì)于這個(gè)超平面，可以用以下式子描述：

對(duì)于logistic回歸，有：

其中x為樣本，x=[x1,x2,?,xn]為n維向量，函g為我們常說的logistic函數(shù)g的更一般公式為：

為什么要用Logistic函數(shù)

????????分類器中最簡單的自然是線性分類器，線性分類器中，最簡單的應(yīng)該就屬于感知器了。在上個(gè)世紀(jì)五六十年代，感知器就出現(xiàn)了：

?????????感知器的思想，就是對(duì)所有特征與權(quán)重做點(diǎn)積（內(nèi)積），然后根據(jù)與閾值做大小比較，將樣本分為兩類。稍微了解一點(diǎn)神經(jīng)網(wǎng)絡(luò)的同學(xué)，對(duì)一下這幅圖一定不陌生，這幅圖描述的就是一個(gè)感知器。

????????感知器相當(dāng)于控制原理中的階躍函數(shù)：

????????這兩者的本質(zhì)都是一致的，即通過劃定一個(gè)閾值，然后比較樣本與閾值的大小來分類。

????????這個(gè)模型簡單直觀，實(shí)現(xiàn)起來也比較容易。但是問題在于，這個(gè)模型不夠光滑。第一，假設(shè)t0=10，現(xiàn)在有一個(gè)樣本進(jìn)來，最后計(jì)算出來的值為10.01，你說這個(gè)樣本分類應(yīng)該是為1還是0呢？第二，這個(gè)函數(shù)在t0這點(diǎn)有個(gè)階躍,有從0到1的突變，導(dǎo)致這點(diǎn)不連續(xù)，在數(shù)學(xué)上處理起來也不方便。

????????因此使用logistic函數(shù)對(duì)比前面的感知器或者階躍函數(shù)，通過logistic函數(shù)的圖像，我們很容易總結(jié)出他的以下優(yōu)點(diǎn)：
????????1.logistic函數(shù)的輸入范圍是?∞→+∞，而之于剛好為（0，1），正好滿足概率分布為（0，1）的要求。我們用概率去描述分類器，自然比單純的某個(gè)閾值要方便很多；
????????2.logistic函數(shù)是一個(gè)單調(diào)上升的函數(shù)，具有良好的連續(xù)性，不存在不連續(xù)點(diǎn)。

有監(jiān)督學(xué)習(xí)

????????機(jī)器學(xué)習(xí)分為有監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)。對(duì)于邏輯回歸來說，就是一種典型的有監(jiān)督學(xué)習(xí)。既然是有監(jiān)督學(xué)習(xí)，訓(xùn)練集自然可以用如下方式表述：

對(duì)于這m個(gè)訓(xùn)練樣本，每個(gè)樣本本身有n維特征。再加上一個(gè)偏置項(xiàng)x0 ,則每個(gè)樣本包含n+1維特征：

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????其中x∈Rn+1,x0=1y∈{0,1}

李航博士在統(tǒng)計(jì)學(xué)習(xí)方法一書中給分類問題做了如下定義：
????????分類是監(jiān)督學(xué)習(xí)的一個(gè)核心問題，在監(jiān)督學(xué)習(xí)中，當(dāng)輸出變量Y取有限個(gè)離散值時(shí)，預(yù)測(cè)問題便成為分類問題。這時(shí)，輸入變量X可以是離散的，也可以是連續(xù)的。監(jiān)督學(xué)習(xí)從數(shù)據(jù)中學(xué)習(xí)一個(gè)分類模型或分類決策函數(shù)，稱為分類器。分類器對(duì)新的輸入進(jìn)行輸出的預(yù)測(cè)，稱為分類(classification).

為什么要使用logistic函數(shù):

其中一個(gè)重要的原因，就是要將Hypothesis(NG課程里的說法)的輸出映射到0與1之間，既：

統(tǒng)計(jì)學(xué)習(xí)方法都是由模型，策略，和算法構(gòu)成的，即統(tǒng)計(jì)學(xué)習(xí)方法由三要素構(gòu)成，可以簡單表示為：
????????方法=模型+策略+算法方法=模型+策略+算法
????????方法=模型+策略+算法

對(duì)于logistic回歸來說，模型自然就是logistic回歸，策略最常用的方法是用一個(gè)損失/代價(jià)函數(shù)來度量預(yù)測(cè)錯(cuò)誤程度，算法則是求解過程。

logistic回歸模型

????????邏輯回歸（Logistic?Regression）是機(jī)器學(xué)習(xí)中最常見的一種用于二分類的算法模型，由于其數(shù)學(xué)原理簡單易懂，作用高效，其實(shí)際應(yīng)用非常廣泛。雖然帶回歸二字，實(shí)則是分類模型，下面從logit變換開始。

logit變換

????????我們?cè)谘芯磕骋唤Y(jié)果y與一系列因素(x1,x2,??,xn)之間的關(guān)系的時(shí)候，最直白的想法是建立因變量和自變量的多元線性關(guān)系

????????其中(θ0,θ1,θ2,??,θn)為模型的參數(shù)，如果因變量是數(shù)值型的話，可以解釋成某某因素xi變化了多少導(dǎo)致結(jié)果y發(fā)生了多少變化，如果因變量y是用來刻畫某特定結(jié)果發(fā)生的概率（0~1）呢？這時(shí)候因素xi變化導(dǎo)致結(jié)果y的變化恐怕微乎其微，有時(shí)候甚至忽略不計(jì)。于是，我們需要讓不顯著的線性關(guān)系變得顯著，使得模型能夠很好解釋隨因素的變化，結(jié)果也會(huì)發(fā)生較顯著的變化，這時(shí)候，人們想到了logit變換，下圖是對(duì)數(shù)函數(shù)圖像

????????從對(duì)數(shù)函數(shù)的圖像來看，其在(0,1)之間的因變量的變化是很迅速的，也就是說自變量的微小變化會(huì)導(dǎo)致因變量的巨大變化，這就符合了之前想要的效果。于是，對(duì)因變量進(jìn)行對(duì)數(shù)變換，右邊依然保持線性關(guān)系，有下面式子

????????雖然上式解決了因變量隨自變量變化的敏感性問題，同時(shí)也約束了y的取值范圍為(0,+∞)。我們知道概率是用來描述某件事發(fā)生的可能性，事件發(fā)生與不發(fā)生有對(duì)立性，結(jié)果可以走向必然發(fā)生（概率為1），也可以走向必然不發(fā)生（概率為0），因此概率的取值范圍為(0,1)，而等式左邊y的取值范圍是(0,+∞)，所以需要進(jìn)一步壓縮，又引進(jìn)了幾率。

幾率

????????幾率（odd)是指事件發(fā)生的概率與不發(fā)生的概率之比，假設(shè)事件A發(fā)生的概率為p，不發(fā)生的概率為1?p，那么事件A的幾率為

????????幾率恰好反應(yīng)了某一事件兩個(gè)對(duì)立面，具有很好的對(duì)稱性，下面我們?cè)賮砜匆幌赂怕屎蛶茁实年P(guān)系

????????首先，我們看到概率從0.01不斷增大到0.99，幾率也從0.01隨之不斷變大到99，兩者具有很好的正相關(guān)系，我們?cè)賹?duì)p向兩端取極限有

????????于是，幾率的取值范圍就在(0，+∞)，這符合我們之前的因變量取值范圍的假設(shè)。

logistic模型

????????正因?yàn)楦怕屎蛶茁视腥绱嗣芮袑?duì)等關(guān)系，于是想能不能用幾率來代替概率刻畫結(jié)果發(fā)生的可能性大小，這樣既能滿足結(jié)果對(duì)特定因素的敏感性，又能滿足對(duì)稱性，便有了下面式子

現(xiàn)在，我們稍微改一改，讓等式左邊對(duì)數(shù)變成自然對(duì)數(shù)ln=loge，等式右邊改成向量乘積形式，便有???????

???其中θ=(1,θ1,θ2,??,θn)，X=(1,x1,x2,??,xn)T，解得

?其中e是自然常數(shù)，保留5位小數(shù)是2.71828。這就是我們常見的logistic模型表達(dá)式，作出其函數(shù)圖像如下

????????我們看到logistic/sigmoid函數(shù)圖像是一條S型曲線，以(0,0.5)為對(duì)稱中心，隨著自變量x不斷增大，其函數(shù)值不斷增大接近1，隨自變量x不斷減小，其函數(shù)值不斷降低接近0，函數(shù)的取值范圍在(0,1)之間，且函數(shù)曲線在中心位置變化速度最快，在兩端的變化速率較慢。

????????從上面的操作，我們可以看到邏輯回歸模型從最初的線性回歸模型基礎(chǔ)上對(duì)因變量進(jìn)行l(wèi)ogit變換，使得因變量對(duì)自變量顯著，同時(shí)約束因變量取值范圍為0到正無窮大，然后用概率表示幾率，最后求出概率關(guān)于自變量的表達(dá)式，把線性回歸的結(jié)果壓縮在(0,1)范圍內(nèi)，這樣最后計(jì)算出的結(jié)果是一個(gè)0到1之間的概率值，表示某事件發(fā)生的可能性大小，可以做概率建模，這也是為什么邏輯回歸叫邏輯回歸，而不叫邏輯分類。

---------------------------------------------------------------------------------------------------------

連載。。。。

logistic模型原理與推導(dǎo)過程分析（1）_LiBiGor的博客-CSDN博客
https://blog.csdn.net/qq_39237205/article/details/121031296

logistic模型原理與推導(dǎo)過程分析（2）_LiBiGor的博客-CSDN博客
https://blog.csdn.net/qq_39237205/article/details/121031899

logistic模型原理與推導(dǎo)過程分析（2）_LiBiGor的博客-CSDN博客
https://blog.csdn.net/qq_39237205/article/details/121031899

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的logistic模型原理与推导过程分析（1）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。