觀測(cè)樣本x

回歸函數(shù)y(x, w)=w0 + w1 *x + w2 * x^2 + ... wm * x^m

?

雖然是關(guān)于x的高次多項(xiàng)式， 但仍被稱作線性回歸。 因?yàn)閷?duì)于已有樣本來(lái)講， x都是已知的， wi是未知的， 所求也是wi

?

使用E(w) = 1/2 * sigma((y(xn, w) - tn)^2) 作為誤差函數(shù)。 tn為xn的理論回歸值， y(xn, w)為xn在w下的回歸值， 二者差值的平方和的一半作為誤差函數(shù)

?

模型選擇： 確定m的大小

?

記得有些材料中提到模型過(guò)于復(fù)雜， 雖然會(huì)使得和樣本擬合的非常好， 但對(duì)于未知樣本分類效果差， 稱作過(guò)擬合。 多種模型都合適時(shí)， 采用越簡(jiǎn)單的模型越好

?

10個(gè)樣本點(diǎn)， 當(dāng)m取值為10時(shí)必定存在一個(gè)函數(shù)能完全擬合。 m為10時(shí)，也稱作該多項(xiàng)式的自由度為10 ？ 10 degrees of freedom ?

?

有些提倡是： 樣本點(diǎn)的個(gè)數(shù)不應(yīng)超過(guò)參數(shù)個(gè)數(shù)的5倍， 5到10倍之間。 即當(dāng)有20個(gè)樣本點(diǎn)時(shí)， M的取值大約在[2, 4]之間

?

避免過(guò)擬合的一種做法是， 在評(píng)估E(w)的過(guò)程中， 增加懲罰值w因素， 新的E(w)定義如下：

E'(w) = E(w) + c * |w|^2,? w為(w0, w1,,,?wm)

?

?

概率：

sum?????? rule:? p(x) = sigma(p(x, yi))， 或者積分

product rule:? p(x, y) = p(y|x) * p(x)????p(x, y)稱為聯(lián)合概率，XY取值為xy時(shí)的概率。 p(y|x)稱為聯(lián)合概率， 當(dāng)X為x時(shí)，Y取值為y的概率?

?

總結(jié)

以上是生活随笔為你收集整理的模式识别机器学习术语的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。