局部加权回归
通常情況下的線性擬合不能很好地預測所有的值，因為它容易導致欠擬合（under fitting），比如數據集是
一個鐘形的曲線。而多項式擬合能擬合所有數據，但是在預測新樣本的時候又會變得很糟糕，因為它導致數據的
過擬合（overfitting），不符合數據真實的模型。
?
今天來講一種非參數學習方法，叫做局部加權回歸（LWR）。為什么局部加權回歸叫做非參數學習方法呢？ 首
先參數學習方法是這樣一種方法：在訓練完成所有數據后得到一系列訓練參數，然后根據訓練參數來預測新樣本
的值，這時不再依賴之前的訓練數據了，參數值是確定的。而非參數學習方法是這樣一種算法：在預測新樣本值
時候每次都會重新訓練數據得到新的參數值，也就是說每次預測新樣本都會依賴訓練數據集合，所以每次得到的
參數值是不確定的。
?
?
接下來，介紹局部加權回歸的原理。
?
之前在普通的線性擬合中，我們得到了最小二乘的損失函數為
?
??????
?
找到合適的參數使得上述損失函數最小即可。而在局部加權回歸中，損失函數變為
?
??????
?
其中的表達式如下
?
??????
?
上式中參數為新預測的樣本特征數據，它是一個向量，參數控制了權值變化的速率，權值有一個性質
?
?????（1）如果，則。
???? （2）如果，則。
?
所以，對于離預測樣本數據較近的點權值較大，離預測樣本數據較遠的點權值較小。
?
很明顯，局部加權回歸在每一次預測新樣本時都會重新確定參數，以達到更好的預測效果。當數據規模比較大的
時候計算量很大，學習效率很低。并且局部加權回歸也不是一定就是避免underfitting。
?
?
總結
