樸素貝葉斯法

樸素貝葉斯是通過(guò)訓(xùn)練數(shù)據(jù)集學(xué)習(xí)聯(lián)合概率分布P(X,Y)，通過(guò)學(xué)習(xí)先驗(yàn)分布和條件分布得到聯(lián)合概率分布。

P(x,y)=p(y)*P(x|y)

樸素貝葉斯法實(shí)際上學(xué)習(xí)到生成數(shù)據(jù)的機(jī)制，所以屬于生成模型

4.5式子

4.6式子

P50的樸素貝葉斯算法

P51貝葉斯估計(jì)

邏輯斯諦回歸（logistic regression）與最大熵模型（maximum entropy）

這兩個(gè)都屬于對(duì)數(shù)線性模型

一個(gè)事件發(fā)生的幾率（odds）指的是該事件發(fā)生的概率與該事件不發(fā)生的概率的比值

P78 6.5,6.6

輸出Y=1的對(duì)數(shù)幾率是輸入x的線性函數(shù)

邏輯斯諦回歸學(xué)習(xí)中通常采用的是梯度下降法和擬牛頓法

最大熵模型

學(xué)習(xí)的目的在于采用最大熵原理選擇最好的分類模型

最大熵模型的學(xué)習(xí)過(guò)程就是求解最大熵模型的過(guò)程，最大熵模型的學(xué)習(xí)可以形式化為約束最優(yōu)化問題 ，模型學(xué)習(xí)約束條件是兩個(gè)期望值相等（P83 6.10）（有約束的最優(yōu)化的原始問題轉(zhuǎn)化成無(wú)約束的最優(yōu)化的對(duì)偶問題），這其中用到拉格朗日函數(shù)

最大熵模型學(xué)習(xí)中的對(duì)偶函數(shù)極大化等價(jià)于最大熵模型的極大似然估計(jì)

多種最優(yōu)化的方法：迭代尺度法、梯度下降法、牛頓法、擬牛頓法；牛頓法或擬牛頓法一般收斂速度更快

改進(jìn)的迭代尺度法IIS

P88：

支持向量機(jī)

支持向量機(jī)是一種二類分類模型，他的基本模型是定義在特征空間上的間隔最大的線性分類器，間隔最大使它有別于感知機(jī)，支持向量機(jī)還包括核技巧，使它成為市值上的非線性分類器，支持向量分類機(jī)的策略是間隔最大化，可形式化為解一個(gè)凸二次規(guī)劃問題（convex quadratic programming）等價(jià)于正則化的合頁(yè)損失函數(shù)最小化的問題支持向量機(jī)的學(xué)習(xí)算法是求解凸二次規(guī)劃的最優(yōu)化的算法。包括：線性可分支持向量機(jī)、線性支持向量機(jī)、非線性支持向量機(jī)。當(dāng)訓(xùn)練數(shù)據(jù)線性可分時(shí)候，通過(guò)硬間隔最大化（hard margin maximum），學(xué)習(xí)一個(gè)線性的分類器，即線性可分支持向量機(jī)；當(dāng)訓(xùn)練數(shù)據(jù)接近線性可分時(shí)，通過(guò)軟間隔最大化（soft margin maximum），即軟間隔支持向量機(jī)，當(dāng)訓(xùn)練數(shù)據(jù)不可分時(shí)，通過(guò)使用核技巧（kernel trick）及軟間隔最大化

當(dāng)輸入空間為歐式空間或者離散集合、特征空間為希爾伯特空間時(shí)，核函數(shù)就是將輸入從輸入空間映射到特征空間得到的特征向量之間的內(nèi)積，使用核函數(shù)等價(jià)于隱式地在高維的特征空間中學(xué)習(xí)線性支持向量機(jī)，這樣的方法稱為核技巧，和方法是比支持向量機(jī)更為一般的機(jī)器學(xué)習(xí)方法

在感知機(jī)中，利用誤分類最小的策略，求得分離超平面，這時(shí)候的解有無(wú)窮多個(gè)，線性可分支持向量機(jī)利用分割最大化求最優(yōu)超平面（幾何間隔最大），所得到的解釋唯一的

P97函數(shù)間隔的概念（7.3）

函數(shù)間隔可以表示分類預(yù)測(cè)的正確性和確信度。要對(duì)分離超平面的法向量w加某些約束，如規(guī)范化

P98（幾何間隔）概念

凸優(yōu)化問題是指約束最優(yōu)化問題P100

非線性支持向量機(jī)：首先使用一個(gè)變換將元空間的數(shù)據(jù)映射到新空間，然后在心空間里用線性分類學(xué)習(xí)方法訓(xùn)練數(shù)據(jù)中學(xué)習(xí)分類模型

核函數(shù)：設(shè)X是輸入空間（歐式空間的子集或離散集合），設(shè)H為特征空間（希爾伯特空間），如果存在一個(gè)從X到H的映射，?（x）：x->h

使得對(duì)于所有的x，z屬于X，函數(shù)k（x，z）滿足條件K（x，z）= ?（x）。 ?(z)

K(x,z)為核函數(shù)，?（x）為映射函數(shù)，?（x）。 ?(z)為內(nèi)積

每一個(gè)具體的輸入是一個(gè)實(shí)例，通常由特征向量表示，這是，所有特征向量存在的空間稱為特征空間

學(xué)習(xí)是隱性的，不需要顯示地定義特征空間和隱式函數(shù)，這樣的技巧成為核技巧

矩陣的半正定性的含義是什么？？

希爾伯特空間：

在一個(gè)是實(shí)向量空間或復(fù)向量空間H上給定內(nèi)積<x,y> ||x||=sqrt(<x,x>)

任意有限維內(nèi)積空間都是希爾伯特空間

一個(gè)內(nèi)積空間當(dāng)作為一個(gè)賦范向量是完備時(shí)，就是希爾伯特空間

正定核的充要條件：

設(shè)K:x×X->R是對(duì)稱函數(shù)，則K（x,z）為正定核函數(shù)的充要條件是對(duì)于任意的xi屬于X ，K（X,Z）對(duì)應(yīng)的Gram矩陣：K=[K(xi,xj)]_m*n 是半正定矩陣

P122常用的核函數(shù)

當(dāng)訓(xùn)練樣本容量大的時(shí)候，這些算法會(huì)變得非常的低效，

快速實(shí)現(xiàn)算法：SMO（sequential minimal optimization 序列最小最優(yōu)化問題）

KKT（Karush-Kuhn-Tucker conditions）

樸素貝葉斯法

樸素貝葉斯是通過(guò)訓(xùn)練數(shù)據(jù)集學(xué)習(xí)聯(lián)合概率分布P(X,Y)，通過(guò)學(xué)習(xí)先驗(yàn)分布和條件分布得到聯(lián)合概率分布。

P(x,y)=p(y)*P(x|y)

樸素貝葉斯法實(shí)際上學(xué)習(xí)到生成數(shù)據(jù)的機(jī)制，所以屬于生成模型

4.5式子

4.6式子

P50的樸素貝葉斯算法

P51貝葉斯估計(jì)

邏輯斯諦回歸（logistic regression）與最大熵模型（maximum entropy）

這兩個(gè)都屬于對(duì)數(shù)線性模型

一個(gè)事件發(fā)生的幾率（odds）指的是該事件發(fā)生的概率與該事件不發(fā)生的概率的比值

P78 6.5,6.6

輸出Y=1的對(duì)數(shù)幾率是輸入x的線性函數(shù)

邏輯斯諦回歸學(xué)習(xí)中通常采用的是梯度下降法和擬牛頓法

最大熵模型

學(xué)習(xí)的目的在于采用最大熵原理選擇最好的分類模型

最大熵模型的學(xué)習(xí)過(guò)程就是求解最大熵模型的過(guò)程，最大熵模型的學(xué)習(xí)可以形式化為約束最優(yōu)化問題 ，模型學(xué)習(xí)約束條件是兩個(gè)期望值相等（P83 6.10）（有約束的最優(yōu)化的原始問題轉(zhuǎn)化成無(wú)約束的最優(yōu)化的對(duì)偶問題），這其中用到拉格朗日函數(shù)

最大熵模型學(xué)習(xí)中的對(duì)偶函數(shù)極大化等價(jià)于最大熵模型的極大似然估計(jì)

多種最優(yōu)化的方法：迭代尺度法、梯度下降法、牛頓法、擬牛頓法；牛頓法或擬牛頓法一般收斂速度更快

改進(jìn)的迭代尺度法IIS

P88：

支持向量機(jī)

支持向量機(jī)是一種二類分類模型，他的基本模型是定義在特征空間上的間隔最大的線性分類器，間隔最大使它有別于感知機(jī)，支持向量機(jī)還包括核技巧，使它成為市值上的非線性分類器，支持向量分類機(jī)的策略是間隔最大化，可形式化為解一個(gè)凸二次規(guī)劃問題（convex quadratic programming）等價(jià)于正則化的合頁(yè)損失函數(shù)最小化的問題支持向量機(jī)的學(xué)習(xí)算法是求解凸二次規(guī)劃的最優(yōu)化的算法。包括：線性可分支持向量機(jī)、線性支持向量機(jī)、非線性支持向量機(jī)。當(dāng)訓(xùn)練數(shù)據(jù)線性可分時(shí)候，通過(guò)硬間隔最大化（hard margin maximum），學(xué)習(xí)一個(gè)線性的分類器，即線性可分支持向量機(jī)；當(dāng)訓(xùn)練數(shù)據(jù)接近線性可分時(shí)，通過(guò)軟間隔最大化（soft margin maximum），即軟間隔支持向量機(jī)，當(dāng)訓(xùn)練數(shù)據(jù)不可分時(shí)，通過(guò)使用核技巧（kernel trick）及軟間隔最大化

當(dāng)輸入空間為歐式空間或者離散集合、特征空間為希爾伯特空間時(shí)，核函數(shù)就是將輸入從輸入空間映射到特征空間得到的特征向量之間的內(nèi)積，使用核函數(shù)等價(jià)于隱式地在高維的特征空間中學(xué)習(xí)線性支持向量機(jī)，這樣的方法稱為核技巧，和方法是比支持向量機(jī)更為一般的機(jī)器學(xué)習(xí)方法

在感知機(jī)中，利用誤分類最小的策略，求得分離超平面，這時(shí)候的解有無(wú)窮多個(gè)，線性可分支持向量機(jī)利用分割最大化求最優(yōu)超平面（幾何間隔最大），所得到的解釋唯一的

P97函數(shù)間隔的概念（7.3）

函數(shù)間隔可以表示分類預(yù)測(cè)的正確性和確信度。要對(duì)分離超平面的法向量w加某些約束，如規(guī)范化

P98（幾何間隔）概念

凸優(yōu)化問題是指約束最優(yōu)化問題P100

非線性支持向量機(jī)：首先使用一個(gè)變換將元空間的數(shù)據(jù)映射到新空間，然后在心空間里用線性分類學(xué)習(xí)方法訓(xùn)練數(shù)據(jù)中學(xué)習(xí)分類模型

核函數(shù)：設(shè)X是輸入空間（歐式空間的子集或離散集合），設(shè)H為特征空間（希爾伯特空間），如果存在一個(gè)從X到H的映射，?（x）：x->h

使得對(duì)于所有的x，z屬于X，函數(shù)k（x，z）滿足條件K（x，z）= ?（x）。 ?(z)

K(x,z)為核函數(shù)，?（x）為映射函數(shù)，?（x）。 ?(z)為內(nèi)積

每一個(gè)具體的輸入是一個(gè)實(shí)例，通常由特征向量表示，這是，所有特征向量存在的空間稱為特征空間

學(xué)習(xí)是隱性的，不需要顯示地定義特征空間和隱式函數(shù)，這樣的技巧成為核技巧

矩陣的半正定性的含義是什么？？

希爾伯特空間：

在一個(gè)是實(shí)向量空間或復(fù)向量空間H上給定內(nèi)積<x,y> ||x||=sqrt(<x,x>)

任意有限維內(nèi)積空間都是希爾伯特空間

一個(gè)內(nèi)積空間當(dāng)作為一個(gè)賦范向量是完備時(shí)，就是希爾伯特空間

正定核的充要條件：

設(shè)K:x×X->R是對(duì)稱函數(shù)，則K（x,z）為正定核函數(shù)的充要條件是對(duì)于任意的xi屬于X ，K（X,Z）對(duì)應(yīng)的Gram矩陣：K=[K(xi,xj)]_m*n 是半正定矩陣

P122常用的核函數(shù)

當(dāng)訓(xùn)練樣本容量大的時(shí)候，這些算法會(huì)變得非常的低效，

快速實(shí)現(xiàn)算法：SMO（sequential minimal optimization 序列最小最優(yōu)化問題）

KKT（Karush-Kuhn-Tucker conditions）

總結(jié)

以上是生活随笔為你收集整理的统计学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。