(轉(zhuǎn)載請注明出處：http://blog.csdn.net/buptgshengod)

1.擬合問題

? ? ? ?這節(jié)課首先講到了一個我們經(jīng)常遇到的問題，欠擬合（underfitting）以及過擬合（overfitting）。其中過擬合是最常見的，這個問題，來源于我們一個特征值的權(quán)重過于突出，就會造成過擬合。比如說我們有一個特征值X。就是容易造成欠擬合，因為這個結(jié)論是一條直線。但是，當(dāng)我們把x平方，，這個式子就會得到比較好的擬合。但是當(dāng)我們把x三次方，四次方。。。都加上，就會出現(xiàn)過擬合。這三種情況分別對應(yīng)下圖的左1，右1，下。

2.局部權(quán)重回歸（linear regression）

? ? ? 上一節(jié)講了回歸問題。是通過全部數(shù)據(jù)集擬合出每個特征值對應(yīng)的參數(shù)。在linear regression中，我們預(yù)測一個x它所對應(yīng)的y，我們只要找到這個x周邊的數(shù)值，擬合一條直線出來，就可以了。 ? ? ? ?這里涉及到如何找到x周圍的數(shù)值，這就涉及到一個截取近似數(shù)值的問題。Andrew使用的是一個類似于高斯公式變形的方法。

3.最小二乘法

? ? ? ?在講logical regression之前，Andrew還特意推導(dǎo)了一下為什么我們用最小二乘法來做判斷。用到了中心極限定律。設(shè)噪聲符合高斯分布，然后在log下推導(dǎo)。推出了用最小二乘法是判斷預(yù)測結(jié)果的形式。

4.邏輯回歸（logical regression）

? ? ? 首先講了為什么要用sigmoid函數(shù)，把離散的數(shù)據(jù)變?yōu)榫€性的。之后就是通過上一節(jié)講的梯度下降法的變形擬合出邏輯回歸的每個參數(shù)。 sigmoid函數(shù)：

總結(jié)

以上是生活随笔為你收集整理的斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。