數據集劃分

測試集

在線性回歸的章節中，我們已經知道，僅僅具備一個很小的訓練誤差并不能保證我們的預測函數就是優秀的，因為這種“優秀”僅僅體現在了對于已知的訓練樣本的假設上，而無法保證見到新的樣本時候還能做出足夠好的預測，過擬合就是當中的典型例子：

因此，預測準不準應當反映在對于新樣本的泛化（generalize）能力。我們考慮將數據集劃分為：

• 訓練集：70%
• 測試集：30%

在對數據集進行訓練集和測試集的劃分前，最好先對數據集進行亂序，防止類似樣本聚到一起

引入如下符號：

• $(x^{(1)}，y^{(1)})$ ：訓練樣本
• $(x_{test}^{(1)}，y_{test}^{(1)})$ ：測試樣本
• $m$ ：訓練集樣本容量
• $m_{test}$ ：測試集樣本容量

線性回歸的測試誤差

在線性回歸中，我們就通過計算測試集的代價函數來評估參數 $\theta$ 的泛化能力：
$$J_{test}=\frac{1}{2m_{test}}\sum _{i=1}^{m_{test}}(h_{\theta }(x_{test}^{(i)})?y_{test}^{(i)}{)}^2$$

邏輯回歸的測試誤差

在邏輯回歸中，測試集的代價函數為：
$$J_{test}(\theta )=?\frac{1}{m_{test}}\sum _{i=1}^{m_{test}}(y_{test}^{(i)}log{h}_{\theta }(x_{test}^{(i)}))?(1?y_{test}^{(i)})log{h}_{\theta }(x_{test}^{(i)}))$$

由于邏輯回歸處理的是 0/1 分類問題，其預測結果只有正確與錯誤之分，所以引入誤分率（Misclassification Error）：
$$err(h_{\theta }(x),y)=\{\begin{array}{l}1,if{h}_{\theta }(x)\ge 0.5,y=0or{h}_{\theta }(x)<0.5,y=1\\ 0,otherwise\end{array}$$

則邏輯回歸中的測試誤差可以表示為：
$$Tes{t}_{error}=\frac{1}{m_{test}}\sum _1^{m_{test}}err(h_{\theta }(x_{test}^{(i)}),y_{test}^{(i)})$$

交叉驗證集

在多項式回歸中，我們總是嘗試不同的多項式次數$（degree）$，形成了不同的預測模型：

$$1.h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$$$2.h_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$$$$3.h_{\theta }(x)={\theta }_0+{\theta }_{1}x+...+{\theta }_3{x}^3$$$$4.h_{\theta }(x)={\theta }_0+{\theta }_{1}x+...+{\theta }_4{x}^4$$$$5.h_{\theta }(x)={\theta }_0+{\theta }_{1}x+...+{\theta }_5{x}^5$$

我們計算各個模型的對應的測試誤差，假設 $degree$=5 時，測試誤差最小，我們就選出了以下模型來迎接新的樣本：
$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x+...+{\theta }_5{x}^5$$

對于 $degree$ 的確定，是我們對于模型的選擇（Model Selection），正如我們在線性回歸中確定 $\theta$ 一樣。在線性回歸中，我們通過訓練集確定模型，測試集來評估模型的泛化能力。在多項式回歸中，我們通過訓練集獲得了參數 $\theta$ ，而通過測試集確定了模型，那么，這兩個集合用完了，我們就缺少評估模型泛化能力的數據集。鑒于此，引入了交叉驗證集（Cross Validation Set），“交叉”二字體現了一種承上啟下的關系，他通過訓練集獲得的結果，選擇了模型，并將該模型交給測試集進行評估：

• 訓練集：60%，確定參數 $\theta$
• 交叉驗證集：20%，進行模型選擇。
• 測試集：20%，評價模型預測能力。

三者的誤差函數如下：

• 訓練集誤差：
  $$J_{train}(\theta )=\frac{1}{2m}\sum _{i=1}^{m_{train}}(h_{\theta }(x_{train}^{(i)})?y_{train}^{(i)}{)}^2$$

• 交叉驗證集誤差：
  $$J_{cv}(\theta )=\frac{1}{2m}\sum _{i=1}^{m_{cv}}(h_{\theta }(x_{cv}^{(i)})?y_{cv}^{(i)}{)}^2$$

• 測試集誤差：
  $$J_{test}(\theta )=\frac{1}{2m}\sum _{i=1}^{m_{test}}(h_{\theta }(x_{test}^{(i)})?y_{test}^{(i)}{)}^2$$

總結

以上是生活随笔為你收集整理的4.2 数据集划分-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。