觀測樣本x

回歸函數y(x, w)=w0 + w1 *x + w2 * x^2 + ... wm * x^m

?

雖然是關于x的高次多項式， 但仍被稱作線性回歸。 因為對于已有樣本來講， x都是已知的， wi是未知的， 所求也是wi

?

使用E(w) = 1/2 * sigma((y(xn, w) - tn)^2) 作為誤差函數。 tn為xn的理論回歸值， y(xn, w)為xn在w下的回歸值， 二者差值的平方和的一半作為誤差函數

?

模型選擇： 確定m的大小

?

記得有些材料中提到模型過于復雜， 雖然會使得和樣本擬合的非常好， 但對于未知樣本分類效果差， 稱作過擬合。 多種模型都合適時， 采用越簡單的模型越好

?

10個樣本點， 當m取值為10時必定存在一個函數能完全擬合。 m為10時，也稱作該多項式的自由度為10 ？ 10 degrees of freedom ?

?

有些提倡是： 樣本點的個數不應超過參數個數的5倍， 5到10倍之間。 即當有20個樣本點時， M的取值大約在[2, 4]之間

?

避免過擬合的一種做法是， 在評估E(w)的過程中， 增加懲罰值w因素， 新的E(w)定義如下：

E'(w) = E(w) + c * |w|^2,? w為(w0, w1,,,?wm)

?

?

概率：

sum?????? rule:? p(x) = sigma(p(x, yi))， 或者積分

product rule:? p(x, y) = p(y|x) * p(x)????p(x, y)稱為聯合概率，XY取值為xy時的概率。 p(y|x)稱為聯合概率， 當X為x時，Y取值為y的概率?

?

總結

以上是生活随笔為你收集整理的模式识别机器学习术语的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。