1 機器學(xué)習(xí)問題表示
變量y與輸入x之間存在一定的關(guān)系，即存在二維聯(lián)合概率密度F（x，y）
機器學(xué)習(xí)根據(jù)m個獨立，同分布觀測樣本求出一個最優(yōu)函數(shù)y=f（x，a），使預(yù)測的期望風(fēng)險最小
R（a）= |Q（y，f（x，a））dF（x，y），其中Q（y，f（x，a））是f（x，a）與y之間的損失函數(shù)

2 經(jīng)驗風(fēng)險最小化
由于并不知道F（x，y），所以無法利用期望風(fēng)險來求f（x，a），但根據(jù)大數(shù)定理的思想，可以用算術(shù)平均代替數(shù)學(xué)期望???? Remp（a）= 1/m（Q（yi，f（xi，a））+......），使樣本均值最小求出f（x，a）中參數(shù)a

3 最小均值方法
求經(jīng)驗風(fēng)險最小可以看做是最佳擬合問題，E = （yi-f（xi，a））**2+ ..........
在調(diào)整權(quán)值時需要這樣一個算法：在有了新的訓(xùn)練樣本時可以在原來的基礎(chǔ)上進一步精化權(quán)值。對于每一個訓(xùn)練樣例，它把權(quán)值向減少誤差的方向略為調(diào)整。這個算法可以看做對可能的假設(shè)權(quán)值空間進行隨機的梯度下降搜索。權(quán)值w更新方式為：w<--w+l（yi - f（xi，a））xi

4函數(shù)集的vc維
函數(shù)集Q（z，a）vc維等于能夠用該函數(shù)集以所有可能的2**k種方式分成不同兩類的向量z1，z2....最大數(shù)目。越復(fù)雜的函數(shù)vc維越高。
期望風(fēng)險R（a ）== 經(jīng)驗風(fēng)險Remp（a）+sqr（h/m），可見vc維增加會導(dǎo)致期望風(fēng)險增加。

5結(jié)構(gòu)風(fēng)險最小化
min（經(jīng)驗風(fēng)險Remp（a）+sqr（h/m））

6支持向量機
svm的基本思想是通過事先選擇的線性或非線性的映射將輸入向量映射到高維特征空間中，在這個空間中利用了最優(yōu)化理論和泛化性理論，同時引入了超平面的概念（減少vc維），來構(gòu)造最優(yōu)決策函數(shù)，并巧妙地利用核函數(shù)來代替高維特征空間的點積運算，從而避免了復(fù)雜的計算。

7貝葉斯決策
設(shè)要識別的對象有d中特征測量值x1，x2.....xd，每種特征都是一個隨機變量。
設(shè)gi（x）為對應(yīng)i類的風(fēng)險函數(shù)，利用先驗概率，相應(yīng)的分類規(guī)則為：
如果gi（x）>gj（x），i，j = 1，2，...c， j!= i，則x屬于第i類，決策面方程為 gi（x）= gj（x）

8分類與聚類
分類：樣本已知所屬類別，求出分類函數(shù)，對新的樣本進行識別
聚類：樣本無類別，根據(jù)其分布距離進行分類

9線性分類器
定義一個準(zhǔn)則函數(shù)J（w，x），w是分類器參數(shù)，它的最小值對應(yīng)著最優(yōu)解。得到梯度法迭代公式：
w（k+1）= w（k）-p（△J）
因為判別函數(shù)g（x）滿足：
g(x)>0 x∈w
g(x)<0 x!∈w

準(zhǔn)則函數(shù)有最小平方誤差，最小錯分類等。

10聚類
相似性測度：歐式距離，馬氏距離，明氏距離，夾角余弦
散布準(zhǔn)則：類內(nèi)散布，類間散布，總散布
求解過程是聚類中心點迭代

11特征抽取和選擇
選擇：選取要使用的特征
抽取：利用選擇出來的特征進行降維變換
抽取方法有線性變換，主成分分析的最佳矩陣變換，

總結(jié)

以上是生活随笔為你收集整理的机器学习(zz)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。