本系列文章如果沒有特殊說明，正文內容均解釋的是文字上方的圖片
機器學習 | Coursera
吳恩達機器學習系列課程_bilibili

目錄

• 10 應用機器學習的建議
• • 10-1 決定下一步做什么
  • 10-2 評估假設函數
  • 10-3 模型選擇和訓練、驗證、測試集
  • 10-4 判斷偏差與方差
  • 10-5 正則化和偏差、方差
  • 10-6 學習曲線
  • 10-7 決定接下來做什么

10 應用機器學習的建議

10-1 決定下一步做什么

10-2 評估假設函數

隨機選擇數據集中的70%作為訓練集，30%作為測試集，將數據集分為兩個部分

• 首先根據訓練集計算出參數$\Theta$
• 把參數$\Theta$代入測試集計算代價函數的值（這里是線性回歸的代價函數，邏輯回歸的代價函數同理）：
  $$J_{test}(\theta )=\frac{1}{2m_{test}}\sum _{i=1}^{m_{test}}(h_{\theta }(x_{test}^{(i)})?y_{test}^{(i)}{)}^2$$
  

邏輯分類中有另一種形式的測試度量，稱作錯誤分類或0/1錯誤分類，計算過程如上圖

10-3 模型選擇和訓練、驗證、測試集

隨機選擇數據集中的60%作為訓練集（Training Set），20%作為交叉驗證集（驗證集，Cross Validation Set，cv），20%作為測試集（Test Set），將數據集分為三個部分

上圖，計算訓練誤差、驗證誤差和測試誤差

用$d$來表示假定函數的多項式的最高次冪

• 先用訓練集求每一個假定函數的代價函數$J(\Theta )$取到最小值時$\Theta$的值，再把這個求得的$\Theta$代入交叉驗證集求得$J_{cv}(\Theta )$，對每一個假定函數進行以上步驟的計算，得到$d=1,...,10$的10個代價函數的值，取最小的那個，這里假定是$d=4$，再使用$d=4$時的$\Theta$代入測試集得到泛化誤差

10-4 判斷偏差與方差

上圖坐標系$y$軸為誤差，$x$軸為$d$（多項式最高次冪）的大小
以上圖為例，

• 當$d$過小時，出現欠擬合(underfit)，偏差(bias)過大，此時的訓練集誤差$J_{train}(\Theta )$很大，并且$J_{cv}(\Theta )\approx J_{train}(\Theta )$
• 當$d$過大時，出現過擬合(overfit)，方差(variance)過大，此時的訓練集誤差$J_{train}(\Theta )$很小，并且$J_{cv}(\Theta )>>J_{train}(\Theta )$

10-5 正則化和偏差、方差

• 若正則化參數$\lambda$過大，會導致欠擬合，高偏差，并且參數${\theta }_1\approx 0,{\theta }_2\approx 0,...$，假定函數的結果$h_{\theta }(x)\approx {\theta }_0$，如上圖最左側坐標系
• 若正則化參數$\lambda$過小，會導致過擬合，高方差，如上圖最右側坐標系
  
  使用不帶正則化項的$J_{train}(\Theta )、J_{cv}(\Theta )、J_{test}(\Theta )$
  $J(\Theta )$取下圖中的帶正則化項的代價函數
  
• 首先取多種$\lambda$的情況，這里從0,0.01開始，下一個$\lambda$是上一個的兩倍，一直取到$\lambda =10.24$，由于此時小數部分對結果影響不大，所以也可以直接取$\lambda =10$
• 將每一種情況的$\lambda$代入帶正則化項的代價函數$J(\Theta )$中，這里共能得到12個不同的$\Theta$值
• 再把這12個$\Theta$代入到交叉驗證集代價函數$J_{cv}(\Theta )$中，注意這里的$J_{cv}(\Theta )$是不帶正則化項的，最后得到12個不同的$J_{cv}(\Theta )$值
• 取最小的那個$J_{cv}(\Theta )$值對應的$\lambda$（這里認為第5個$\lambda$是最合適的）代入到測試集的代價函數$J_{test}(\Theta )$中，計算泛化誤差，注意這里的$J_{test}(\Theta )$也是不帶正則化項的
  

10-6 學習曲線

如上圖是高偏差/欠擬合的情形
此時增加數據集數量對于誤差的縮小沒有明顯幫助

如上圖是高方差/過擬合的情形
此時交叉驗證集的曲線和訓練集的曲線中間相差較大，所以增加數據集數量對于減小誤差是有幫助的

10-7 決定接下來做什么

解決高偏差或高方差的一些方法如下圖：


如上圖

• 在一個小型的神經網絡中，容易出現欠擬合現象，但它的好處是計算量較小
• 在一個大型的神經網絡中，容易出現過擬合現象，可以通過正則化來避免，它的好處是效果較好，但是計算量較大

總結

以上是生活随笔為你收集整理的【CV】吴恩达机器学习课程笔记第10章的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。