---

機器學習介紹

---

機器學習就是要找一個函數。

機器學習的三大要素框架：訓練集，函數集（模型集），損失函數集。

機器學習圖譜

AI訓練師的成長之路。

---

1. 梯度下降法的理解Gradient Descent

---

參數變化的方向就是損失函數減少的方向。

圖中小人向左走，還是向右走，主要是看哪個方向是損失函數減少的方向，學習率就是這個小人走的速度。

理論上，全局最有解是最好的結果，但是實際上，我們有時候可能僅僅找到了局部最有解。所以說梯度下降法找到好的結果，有時候會靠運氣，比如一個比較好的初始點。

對于多參數，情況類似。

參數在梯度為零的情況不在更新，但梯度為零或者梯度比較小的情況，并不都是局部極值，還有可能是鞍點。

---

2. 模型選擇

---

---

這是一個線性模型，看參數與object的關系，這里的ｂ，ｗ與ｙ都是線性關系。

模型越復雜，我們有可能在訓練集上得到較小的誤差損失，所以模型越復雜，我們越有可能找到最優的模型函數。

過擬合的問題，簡單說就是在訓練集上效果較好，但是在測試集上，效果比較差。更深的理解是，理論上我們應該學得是全局特征，在訓練集上學習的是局部特征。若擬合局部特征較好，那么就會影響全局特征的學習。如果測試集上的局部特征與訓練集的局部特征類似，那么測試集的結果會相對好。若測試集上的局部特征與訓練集的局部特征不大類似，那么測試集的結果就會較差。

正則項

為了找到一個平滑的函數(smooth function)。所謂平滑函數，當ｘ有變化時，ｙ不會有劇烈的變化。否則就是個抖動比較厲害的函數。而影響函數的平滑性的是權值，偏置項不會影響函數的平滑性。

加正則項后的效果。

---

參考文獻

---

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的李宏毅机器学习课程1~~~Introduction Regression的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。