損失函數(shù)和風險函數(shù)

首先引入損失函數(shù)與風險函數(shù)的概念。損失函數(shù)度量模型一次預測的好壞，風險函數(shù)度量平均意義下模型預測的好壞。

監(jiān)督學習問題是在假設空間$\mathbb{F}$中選取模型$f$作為決策函數(shù)，對于給定的輸入$X$，有$f(X)$給出相應的輸出$Y$，這個輸出的預測值$f(X)$與真實值$Y$可能一致也可能不一致，用一個損失函數(shù)（loss function）或代價函數(shù)（cost function）來度量預測錯誤的程度。損失函數(shù)是$f(X)$和$Y$的非負實值函數(shù)，記作$L(Y,f(X))$。

損失函數(shù)值越小，模型就越好。由于模型的輸入、輸出$(X,Y)$是隨機變量，遵循聯(lián)合分布$P(X,Y)$，所以損失函數(shù)的期望是：$$R_{exp}(f)=E_p[L(Y,f(X))]={\int }_{x\times y}L(y,f(x))dxdy$$

這是理論上模型$f(X)$關于聯(lián)合分布$P(X,Y)$的平均意義下的損失，稱為風險函數(shù)（risk function）或期望損失（expected loss）。

學習的目標就是選擇期望風險最小的模型。由于聯(lián)合分布$P(X,Y)$是未知的，$R_{exp}(f)$不能直接計算。實際上，如果知道聯(lián)合分布$P(X,Y)$，可以從聯(lián)合分布直接求出條件概率分布$P(X|Y)$，也就不需要學習了。這樣一來，一方面根據(jù)期望風險最小學習模型要用到聯(lián)合分布，另一方面聯(lián)合分布又是未知的，所以監(jiān)督學習就成為一個病態(tài)問題（ill-formed problem）。

給定一個訓練數(shù)據(jù)集：$$T=\{(x_1,y_1),(x_2,y_2),?,(x_N,y_N)\}$$

模型$f(X)$關于訓練數(shù)據(jù)集的平均損失稱為經(jīng)驗風險（empirical risk）或經(jīng)驗損失（empirical loss），記作$R_{emp}$：$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$

期望風險$R_{exp}(f)$式模型關于聯(lián)合分布的期望損失，經(jīng)驗風險$R_{emp}(f)$是模型關于訓練樣本集的平均損失。根據(jù)大數(shù)定律，當樣本容量$N$趨于無窮時，經(jīng)驗風險$R_{emp}(f)$趨于期望風險$R_{exp}(f)$。所以一個很自然的想法是用經(jīng)驗風險估計期望風險。但是，由于現(xiàn)實訓練樣本數(shù)目有限，甚至很小，所以用經(jīng)驗風險估計期望風險常常并不理想，要對經(jīng)驗風險進行一定的矯正。這就關系到機器學習的兩個基本策略：經(jīng)驗風險最小化和結構風險最小化。

經(jīng)驗風險最小化和結構風險最小化

在假設空間、損失函數(shù)以及訓練數(shù)據(jù)集確定的情況下，經(jīng)驗風險函數(shù)式就可以確定$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$

經(jīng)驗風險最小化（empirical risk minimization，ERM）的策略認為，經(jīng)驗風險最小的模型是最優(yōu)的模型。根據(jù)這一策略，按照經(jīng)驗風險最小化求最優(yōu)模型。根據(jù)這一策略，按照經(jīng)驗風險最小化求最優(yōu)模型就是求解最優(yōu)化問題：$$\underset{f\in \mathbb{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$

其中，$\mathbb{F}$是假設空間。

當樣本容量足夠大時，經(jīng)驗風險最小化能保證有很好的學習效果，在現(xiàn)實中被廣泛采用。比如極大似然估計就是經(jīng)驗最小化的一個例子。當模型是條件概率分布，損失函數(shù)是對數(shù)損失函數(shù)時，經(jīng)驗風險最小化就等價于極大似然估計。

但是，當樣本容量很小時，經(jīng)驗風險最小化學習的效果就未必很好，會產(chǎn)生“過擬合”現(xiàn)象。

結構風險最小化是為了防止過擬合而提出來的策略。結構風險最小化等價于正則化（regularizer）。結構風險再經(jīng)驗風險上加上表示模型復雜度的正則化或罰項，在假設空間、損失函數(shù)以及訓練數(shù)據(jù)集確定的情況下，結構風險的定義是：$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$$

其中$J(f)$為模型的復雜度，是定義在假設空間$\mathbb{F}$上的泛函。模型$f$越復雜，復雜度$J(f)$就越大；反之，模型$f$越簡單，復雜度$J(f)$就越小。也就是說，復雜度表示了對復雜模型的懲罰。$\lambda \ge 0$是系數(shù)，用以權衡經(jīng)驗風險和模型復雜度。結構風險小需要經(jīng)驗風險與模型復雜度同時小。結構風險小的模型往往對訓練數(shù)據(jù)以及未知測試數(shù)據(jù)都有較好的預測。

結構風險最小化的策略認為結構風險最小的模型時最優(yōu)的模型。所以求最優(yōu)模型，就是求解最優(yōu)化問題：$$\underset{f\in \mathbb{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$$

這樣，監(jiān)督學習問題就變成了經(jīng)驗風險或結構風險函數(shù)的最優(yōu)化問題。這是經(jīng)驗或結構風險函數(shù)是最優(yōu)化的目標函數(shù)。

常見損失函數(shù)綜述

回歸常見的損失函數(shù)有：均方差（Mean Squared Error，MSE）、平均絕對誤差（Mean Absolute Error Loss，MAE）、Huber Loss是一種將MSE與MAE結合起來，取兩者優(yōu)點的損失函數(shù)，也被稱作Smooth Mean Absolute Error Loss 、分位數(shù)損失（Quantile Loss）損失函數(shù)。

分類常見的損失函數(shù)有：交叉熵損失（Cross Entropy Loss）、合頁損失（Hinge Loss）、0/1損失函數(shù)、指數(shù)損失、對數(shù)損失/對數(shù)似然損失（Log-likelihood Loss）

回歸常見的損失函數(shù)

均方差損失（Mean Squared Error Loss）

均方差（Mean Squared Error，MSE）損失是機器學習、深度學習回歸任務中最常用的一種損失函數(shù)，也稱為 L2 Loss。其基本形式如下：$$J_{MSE}=\frac{1}{N}\sum _{i=1}^N(y_i?{\hat{y}}_i{)}^2$$

背后的假設

實際上在一定的假設下，我們可以使用最大化似然得到均方差損失的形式。假設模型預測與真實值之間的誤差服從標準高斯分布$(\mu =0,\sigma =1)$,則定一個$x_i$，模型就輸出真實值$y_i$的概率為：$$p(y_i|x_i)=\frac{1}{\sqrt{2\pi }}{e}^{?\frac{(y_i?{\hat{y}}_i{)}^2}{2}}$$

進一步我們假設數(shù)據(jù)集中$N$個樣本點之間相互獨立，則給定所有$x$輸出所有真實值$y$的概率，即似然（Likelihood）為所有$p(y_i|x_i)$的累乘：$$L(x,y)=\prod _{i=1}^N\frac{1}{\sqrt{2\pi }}{e}^{?\frac{(y_i?{\hat{y}}_i{)}^2}{2}}$$

通常為了計算方便，我們通常最大化對數(shù)似然（Log-Likelihood）：$$LL(x,y)=log(L(x,y))=?\frac{N}{2}log2\pi ?\frac{1}{2}\sum _{i=1}^N(y_i?{\hat{y}}_i{)}^2$$

去掉與${\hat{y}}_i$無關的第一項，然后轉化為最小化負對數(shù)似然（Negative Log-Likelihood）：$$NLL(x,y)=\frac{1}{2}\sum _{i=1}^N(y_i?{\hat{y}}_i{)}^2$$

可以看到這個實際上就是均方差損失的形式。也就是說在模型輸出與真實值的誤差服從高斯分布的假設下，最小化均方差損失函數(shù)與極大似然估計本質上是一致的，因此在這個假設能被滿足的場景中（比如回歸），均方差損失是一個很好的損失函數(shù)選擇；當這個假設沒能被滿足的場景中（比如分類），均方差損失不是一個好的選擇。

平均絕對誤差損失（Mean Absolute Error Loss）

平均絕對誤差（Mean Absolute Error Loss，MAE）是另一類常用的損失函數(shù)，也稱為L1 Loss。其基本形式如下：$$J_{MAE}=\frac{1}{N}\sum _{i=N}^N|y_i?{\hat{y}}_i|$$

背后的假設

同樣的我們可以在一定的假設下通過最大似然得到MAE損失的形式，假設模型預測與真實值之間服從拉普拉斯分布（Laplace distribution）$(\mu =0,b=1)$。則給定一個$x_i$模型輸出真實值$y_i$的概率為：$$p(y_i|x_i)=\frac{1}{2}{e}^{?|y_i?{\hat{y}}_i|}$$

與上面推導 MSE 時類似，我們可以得到的負對數(shù)似然（Negative Log-Likelihood）實際上就是MAE 損失的形式：$$L(x,y)=\prod _{i=1}^N\frac{1}{2}{e}^{?|y_i?{\hat{y}}_i|}$$$$LL(x,y)=log(L(x,y))=?\frac{N}{2}?\sum _{i=1}^N|y_i?{\hat{y}}_i|$$$$NLL(x,y)=\sum _{i=1}^N|y_i?{\hat{y}}_i|$$

MAE與MSE的區(qū)別

MSE比MAE能夠更快收斂：當使用梯度下降算法時，MSE損失的梯度為，而MAE損失的梯度為正負1。所以。MSE的梯度會隨著誤差大小發(fā)生變化，而MAE的梯度一直保持為1，這不利于模型的訓練。
MAE對異常點更加魯棒：從損失函數(shù)上看，MSE對誤差平方化，使得異常點的誤差過大；從兩個損失函數(shù)的假設上看，MSE假設了誤差服從高斯分布，MAE假設了誤差服從拉普拉斯分布，拉普拉斯分布本身對于異常點更加魯棒。

分類常見的損失函數(shù)

Log對數(shù)損失函數(shù)

對數(shù)損失, 即對數(shù)似然損失(Log-likelihood Loss), 也稱邏輯斯諦回歸損失(Logistic Loss)或交叉熵損失(cross-entropy Loss), 是在概率估計上定義的.它常用于(multi-nominal, 多項)邏輯斯諦回歸和神經(jīng)網(wǎng)絡,以及一些期望極大算法的變體. 可用于評估分類器的概率輸出。

對數(shù)損失假設樣本服從伯努利分布（0-1分布）。伯努利分布是一個離散型機率分布。試驗成功，隨機變量取值為1；試驗失敗，隨機變量取值為0。成功幾率為$p$，失敗幾率為$q=1?p$，$N$次試驗后，成功期望為$N?p$，方差為$Np(1-p) $，所以伯努利分布又稱兩點分布。

假設觀察到的數(shù)據(jù)為$Y_1,Y_2,?,Y_N$，極大似然的目標：$$maxP(Y_1,Y_2,?,Y_N)$$

聯(lián)合分布難計算，我們因此引入一個假設，獨立同分布（i.i.d.），目標公式改變?yōu)?#xff1a;$$max\prod _i^{N}P(Y_i)$$

將函數(shù)取對數(shù)，函數(shù)的極值點不會改變，公式變?yōu)?#xff1a;$$max\sum _i^{N}logP(Y_i)$$

伯努利分布下隨機變量的最大似然計算方法，$P(Y=1)=p$，$P(Y=0)=1?p$：$$P(Y)=p^Y(1?p{)}^{1?Y}$$

因此：$$\underset{p}{\max }\prod _i^{N}P(Y_i)=\underset{p}{\max }\sum _i^N[Y_{i}logp+(1?Y_i)log(1?p)]$$

綜上所述，當$Y_i$只能取0或1時，對數(shù)損失函數(shù)是:$$L(Y,P(Y|X))=?log(P(Y|X))=?\frac{1}{N}\sum _{i=1}^N(y_{i}log{\hat{y}}_i+(1?y_i)log(1?{\hat{y}}_i))$$

此時，$y_i$為輸入實例 $x_i$的真實類別, ${\hat{y}}_i$ 為預測輸入實例 $x_i$ 屬于類別 1 的概率. 對所有樣本的對數(shù)損失表示對每個樣本的對數(shù)損失的平均值, 對于完美的分類器, 對數(shù)損失為 0 .

關于log損失函數(shù)的應用可在http://blog.halashuo.cn/475 邏輯斯蒂推導一文中查看。

多分類下的交叉熵損失函數(shù)

在多分類的任務中，交叉熵損失函數(shù)的推導思路和二分類是一樣的，變化的地方是真實值$y_i$是一個One-hot 向量，同時模型輸出的壓縮由原來的Sigmoid函數(shù)換成Softmax函數(shù)。Softmax 函數(shù)將每個維度的輸出范圍都限定在$(0,1)$之間，同時所有維度的輸出和為1，用于表示一個概率分布$$p(y_i|x_i)=\prod _{k=1}^K({\hat{y}}_i^k{)}^{y_i^k}$$

其中，$k\in K$表示$K$個類別中的一類，同樣的假設數(shù)據(jù)點之間獨立同分布，可得到負對數(shù)似然為：$$L(x,y)=?\sum _{i=1}^N\sum _{j=1}^K{y}_i^k\log ({\hat{y}}_i^k)$$

由于$y_i$是一個 one-hot 向量，除了目標類為 1 之外其他類別上的輸出都為 0，因此上式也可以寫為$$L(x,y)=?\sum _{i=1}^N{y}_i^{c_i}\log ({\hat{y}}_i^{c_i})$$

其中$c_i$是樣本$x_i$的目標類。通常這個應用于多分類的交叉熵損失函數(shù)也被稱為 Softmax Loss 或者 Categorical Cross Entropy Loss。

對于Logistics loss，我們說的是二分類問題，$\hat{y}$是一個數(shù)；對于Cross Entropy Loss，我們說的是多分類問題，$\hat{y}$是一個$k$維的向量。當$k=2$時，Logistics loss與Cross Entropy Loss一致。

交叉熵適合分類的原因

分類中為什么不用均方差損失？上文在介紹均方差損失的時候講到實際上均方差損失假設了誤差服從高斯分布，在分類任務下這個假設沒辦法被滿足，因此效果會很差。為什么是交叉熵損失呢？有兩個角度可以解釋這個事情，一個角度從最大似然的角度，也就是我們上面的推導；另一個角度是可以用信息論來解釋交叉熵損失：

假設對于樣本$x_i$存在一個最優(yōu)分布$y_i^{?}$真實地表明了這個樣本屬于各個類別的概率，那么我們希望模型的輸出${\hat{y}}_i$盡可能地逼近這個最優(yōu)分布，在信息論中，我們可以使用 KL 散度 Kullback–Leibler Divergence 來衡量兩個分布的相似性。給定分布$p$和分布$q$， 兩者的 KL 散度公式如下$$KL(p,q)=\sum _{k=1}^K{p}^k\log (p^k)?\sum _{k=1}^K{p}^k\log (q^k)$$

其中第一項為分布 $p$ 的信息熵，第二項為分布 $p$ 和$q$的交叉熵。將最優(yōu)分布 $y_i^{?}$ 和輸出分布${\hat{y}}_i$帶入$p$ 和$q$得到$$KL(y_i^{?},{\hat{y}}_i)=\sum _{k=1}^K{y}_i^{?k}\log (y_i^{?k})?\sum _{k=1}^K{y}_i^{?k}\log ({\hat{y}}_i^k)$$

由于我們希望兩個分布盡量相近，因此我們最小化 KL 散度。同時由于上式第一項信息熵僅與最優(yōu)分布本身相關，因此我們在最小化的過程中可以忽略掉，變成最小化$$?\sum _{k=1}^K{y}_i^{?k}\log ({\hat{y}}_i^k)$$

我們并不知道最優(yōu)分布 $y_i^{?}$ ，但訓練數(shù)據(jù)里面的目標值 $y_i$可以看做是 $y_i^{?}$ 的一個近似分布$$?\sum _{k=1}^K{y}_i^k\log ({\hat{y}}_i^k)$$

這個是針對單個訓練樣本的損失函數(shù)，如果考慮整個數(shù)據(jù)集，則$$J_{KL}=?\sum _{i=1}^N\sum _{k=1}^K{y}_i^k\log ({\hat{y}}_i^k)=?\sum _{i=1}^N{y}_i^{c_i}\log ({\hat{y}}_i^{c_i})$$

可以看到通過最小化交叉熵的角度推導出來的結果和使用最大化似然得到的結果是一致的。

合頁損失（Hinge Loss）

合頁損失（Hinge Loss）是另外一種二分類損失函數(shù)，適用于 maximum-margin 的分類，支持向量機Support Vector Machine (SVM)模型的損失函數(shù)本質上就是Hinge Loss + L2正則化。合頁損失的公式如下：$$J_{hinge}=\sum _{i=1}^N\max (0,1?sgn(y_i){\hat{y}}_i)$$

下圖是$y$為正類，即$sgn(y)=1$時，不同輸出的合頁損失示意圖：

可以看到當$y$為正類時，模型輸出負值會有較大的懲罰，當模型輸出為正值且在$(0,1)$區(qū)間時還會有一個較小的懲罰。即合頁損失不僅懲罰預測錯的，并且對于預測對了但是置信度不高的也會給一個懲罰，只有置信度高的才會有零損失。使用合頁損失直覺上理解是要找到一個決策邊界，使得所有數(shù)據(jù)點被這個邊界正確地、高置信地被分類

總結

以上是生活随笔為你收集整理的常见损失函数综述及区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。