當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

模型评估与选择

發(fā)布時間：2025/3/14 编程问答 22 豆豆

生活随笔收集整理的這篇文章主要介紹了模型评估与选择小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

機器學習算法完整版見fenghaootong-github

模型評估與選擇

經驗誤差與過擬合
評估方法
性能度量
比較檢驗
偏差與方差

經驗誤差與過擬合

誤差率：分類錯誤的樣本數占樣本總數的比例
精度：1 - 錯誤率
誤差：學習器的實際預測輸出與樣本的真實輸出之間的差異
過擬合：訓練樣本學的太好，就是把訓練樣本的所有特征當作了所有樣本的特征

評估方法

留出法

留出法比較簡單，就是把數據集進行劃分，劃分為兩個互斥的集合，一個作為訓練集，一個作為測試集，至于怎么分，采用什么樣的采樣方法，可以自己決定

交叉驗證法

首先把數據集劃分為k個大小相同的互斥子集
每次用k-1個子集作為訓練集，一個子集作為測試集
交叉使用這k個子集作為測試集，從而進行k次訓練和測試，最終返回這k個結果的均值
這就是k折交叉驗證

自助法

自助法和交叉驗證法有點相似，不同的是，兩個劃分數據的方式不同，自助法方法如下：

首先首先從m個樣本的數據集D中，可放回的重復抽樣m次，得到一個有m個樣本的數據集 $D_i$
這樣的抽樣方式在 $D_i$ 肯定有重復的數據,有一部分數據肯定沒有抽到，沒有抽到的概率為 $(1?1m)m(1-\frac{1}{m})^m$
用含有m個樣本的數據集 $D_i$ 作為訓練集，剩下的沒有抽到的作為測試集
將這樣的動作重復多次就可以訓練出多個模型

自助法在數據集較小、難以有效劃分訓練/測試集時很有用，自助法能從初始數據集中產生多個不同的訓練集，這對集成學習等方法很有效
自助法產生的數據集改變了初始數據集的分布，這會引入估計誤差，因此數據量足夠時，留出法和交叉驗證法更常用

調參與最終模型

大多數的學習算法都有參數需要設定，參數配置不同學習的模型的性能往往有顯著差別
但是在調參的時候要注意設置步長，否則在實數范圍內，對每種參數配置訓練出模型來是不可能的
調參是一件困難的工程，比如算法有3個參數，每個參數考慮5個候選參數，這就有 $5^3 = 125$ 個模型
模型選擇時要把訓練數據分成訓練集和驗證集，選擇最好的模型，然后用所有的訓練數據重新訓練模型，最后再用測試集測試結果

性能度量

舉個例子， $y$ 為真是值， $f (x)$ 為預測結果

回歸任務最常用的性能度量時“均方誤差“：

$\frac{1}{m} \sum_{i=1}^{m}(f(x)-y)^2$

更一般的，對于數據分布 $D$ 和概率密度函數 $p(?)p(\cdot)$ ，均方誤差：

$\int_{x\backsim D} p(x)(f(x)-y)^2 dx$

錯誤率與精度

分類任務，最常用的性能測量

錯誤率：

$\frac{1}{m} \sum_{i=1}^{m} \amalg (f(x)\ne y_i)$

精度：

$\frac{1}{m} \sum_{i=1}^{m} \amalg (f(x) = y_i) = 1 - E(f:D)$

更一般的，對于數據分布 $D$ 和概率密度函數 $p(?)p(\cdot)$ ，錯誤率和精度：

$\int_{x\backsim D} p(x) \amalg (f(x)\ne y_i) dx$

$\int_{x\backsim D} p(x) \amalg (f(x) = y_i) dx = 1 - E(f:D)$

查準率、查全率和F1

舉一個醫(yī)院的例子，錯誤率就是一個醫(yī)生對病人的誤判率，但是并沒有說時把健康的人誤判為病人還是把病人誤判為健康的人，這是兩種完全不同的結果，所以錯誤率這時候就不夠用了。

還有就是信息檢索時，我們經常關心”檢索出來的信息有多少比例是用戶感興趣的“ ”用戶感興趣的信息中有多少被檢索出來了“，這兩個就分別對應了“查準率”和“查全率”

對于二分類問題，用一個分類結果混淆矩陣說明：

真實情況預測結果預測結果

?	正例	反例
正例	TP(真正例)	FN(假反例)
反例	FP(假正例)	TN(真反例)

查準率： $\frac{TP}{TP + FP}$
查全率： $\frac{TP}{TP + FN}$
查準率和查全率的不同偏好： $Fβ=(1+β2)×P×R(β2×P)+RF_\beta = \frac{(1 + \beta^2) \times P \times R}{(\beta^2 \times P) + R}$

其中 $β>0\beta > 0$ 度量了查全率對查準率的相對重要性， $β=1\beta = 1$ 是標準的 $F_1$ , $β>1\beta > 1$ 時查全率有更大的影響， $β<1\beta < 1$ 時查準率有更大的影響

ROC和AUC

ROC曲線的橫縱坐標分別是：

橫坐標為假正例率： $\frac{FP}{FP + TN}$
縱坐標為真正例率： $\frac{TP}{TP + FN}$

若一個學習器的ROC曲線被另一個學習器的ROC曲線包裹，則后者優(yōu)于前者，如果兩條曲線發(fā)生重合，則使用ROC曲線下的面積，即AUC

$\frac{1}{2} \sum_{i=1}^{m-1}(x_{i+1} - x_i)(y_i + y_{i+1})$

比較檢驗

本節(jié)默認以錯誤率為性能測量，用 $?\epsilon$ 表示

假設檢驗

假設檢驗中的“假設”是對學習器泛化錯誤率分布的某種判斷或者猜想，例如“ $?\epsilon$ = $?0\epsilon_0$ ”。現實任務中我們并不知道學習器的泛化錯誤率，只能獲知其測試錯誤率 $?^\widehat{\epsilon}$ 。泛化錯誤率與測試錯誤率未必相同，但二者接近的可能性比較大，因此，可根據測試錯誤率推出泛化錯誤率的分布。

泛化錯誤率 $?\epsilon$ 的學習器在一個樣本上犯錯的概率為 $?\epsilon$ ;
測試錯誤率 $?^\widehat{\epsilon}$ 意味著在m個測試樣本中恰有 $?^?m\widehat{\epsilon}* m$ 個被誤分類。
在包含m個樣本的測試集上，泛化錯誤率為 $?\epsilon$ 的學習器被測得測試錯誤率為 $?^\widehat{\epsilon}$ 的概率：
$P(?^;?)=??^?mm???^?m(??)m??^?mP(\widehat{\epsilon};\epsilon) = \lgroup_{\widehat{\epsilon} * m}^{m} \rgroup\epsilon^{\widehat{\epsilon} * m}(- \epsilon )^{m - \widehat{\epsilon} * m}$
顯著度為 $α\alpha$
交叉驗證法要進行多次訓練和測試，會得到多個測試錯誤率，我們使用“t檢驗”，假定我們得到了k個測試錯誤率， $?^1\widehat{\epsilon}_{1}$ ， $?^2\widehat{\epsilon}_{2}$ ，…， $?^k\widehat{\epsilon}_{k}$ ，則平均測試錯誤率 $μ\mu$ 和方差 $σ2\sigma^2$ 為：
$μ=1k∑i=1k?^i\mu = \frac{1}{k}\sum_{i = 1}^{k}\widehat{\epsilon}_{i}$
$σ2=1k?1∑i=1k(?^i?μ)2\sigma^{2} = \frac{1}{k-1}\sum_{i = 1}^{k}(\widehat{\epsilon}_{i}-\mu)^2$
考慮到這k個測試錯誤率可看作泛化錯誤率 $?0\epsilon_{0}$ 的獨立采樣，則變量
$\tau_t= \frac{\sqrt{k}(\mu - \epsilon_{0})}{\sigma}$

服從k-1的t分布

對于假設“ $μ=?0\mu = \epsilon_{0}$ ”和顯著度 $α\alpha$ ，若平均錯誤率 $μ\mu$ 和 $?0\epsilon_{0}$ 之差 $∣μ??0∣|\mu - \epsilon_{0}|$ 位于臨界值范圍 $[t?α2,tα2][t_{-\frac{\alpha}{2}}, t_{\frac{\alpha}{2}}]$ ，則不能拒絕假設“ $μ=?0\mu = \epsilon_{0}$ ”，即可認為泛化錯誤率為 $?0\epsilon_{0}$ ，置信度為 $1?α1-\alpha$ ；否則拒絕該假設，即在該顯著度下可認為泛化錯誤率與 $?0\epsilon_{0}$ 有顯著不同。 $α\alpha$ 常用取值為0.05和0.01。

McNemar檢驗

對于二分類的問題，使用留出法，不僅可估計學習器A和B的測試錯誤率，還可獲得兩學習器分類結果的差別，如下列聯(lián)表所示：

算法B算法A算法A

?	正確	錯誤
正確	$e_{00}$	$e_{01}$
錯誤	$e_{10}$	$e_{11}$

若我們做的假設是兩學習器性能相同，則應有 $e_{01}=e_{10}$ ，那么變量 $e_{01}-e_{10}|$ 應當服從正態(tài)分布。McNemar檢驗考慮變量為：
$τχ2=(∣e01?e10∣?1)2e01+e10\tau_{\chi^2} = \frac{(|e_{01}-e_{10}|-1)^2}{e_{01}+e_{10}}$

服從自由度1的 $χ2\chi^2$ 分布，即標準正態(tài)分布變量的平方

給定顯著度 $α\alpha$ ，當以上變量小于臨界值 $χα2\chi_{\alpha}^2$ 時，不能拒絕假設，即認為兩學習器的性能沒有顯著差別。

Friedman和Nemenyi檢驗

用于在一組數據上對多個算法進行比較
一種是在每個數據集上分別列出兩兩比較的結果
另一種是基于算法排序的Friedman檢驗
如果Friedman檢驗得到的結果是所有算法的性能相同，這時候再用Nemenyi檢驗

偏差與方差

泛化誤差是指在新樣本上的誤差
泛化誤差等于偏差、方差與噪聲之和
- 偏差度量了學習算法的期望預測與真實結果的偏離程度，即刻畫了學習算法本身的擬合能力
- 方差度量了同樣大小的訓練集的變動所導致的學習性能的變化，即數據擾動所造成的影響
- 噪聲則表達了在當前任務上任何學習算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度

轉載于:https://www.cnblogs.com/htfeng/p/9931738.html

總結

以上是生活随笔為你收集整理的模型评估与选择的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

模型