(轉載請注明出處：http://blog.csdn.net/buptgshengod)

1.擬合問題

? ? ? ?這節課首先講到了一個我們經常遇到的問題，欠擬合（underfitting）以及過擬合（overfitting）。其中過擬合是最常見的，這個問題，來源于我們一個特征值的權重過于突出，就會造成過擬合。比如說我們有一個特征值X。就是容易造成欠擬合，因為這個結論是一條直線。但是，當我們把x平方，，這個式子就會得到比較好的擬合。但是當我們把x三次方，四次方。。。都加上，就會出現過擬合。這三種情況分別對應下圖的左1，右1，下。

2.局部權重回歸（linear regression）

? ? ? 上一節講了回歸問題。是通過全部數據集擬合出每個特征值對應的參數。在linear regression中，我們預測一個x它所對應的y，我們只要找到這個x周邊的數值，擬合一條直線出來，就可以了。 ? ? ? ?這里涉及到如何找到x周圍的數值，這就涉及到一個截取近似數值的問題。Andrew使用的是一個類似于高斯公式變形的方法。

3.最小二乘法

? ? ? ?在講logical regression之前，Andrew還特意推導了一下為什么我們用最小二乘法來做判斷。用到了中心極限定律。設噪聲符合高斯分布，然后在log下推導。推出了用最小二乘法是判斷預測結果的形式。

4.邏輯回歸（logical regression）

? ? ? 首先講了為什么要用sigmoid函數，把離散的數據變為線性的。之后就是通過上一節講的梯度下降法的變形擬合出邏輯回歸的每個參數。 sigmoid函數：

總結

以上是生活随笔為你收集整理的斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。