[machine learning] Loss Function view

Posted on?October 24, 2013

有關Loss Function（LF），只想說，終于寫了

一、Loss Function

什么是Loss Function？wiki上有一句解釋我覺得很到位，引用一下：The loss function quantifies the amount by which the prediction deviates from the actual values。Loss Function中文損失函數，適用于用于統計，經濟，機器學習等領域，雖外表形式不一，但其本質作用應是唯一的，即用于衡量最優的策略。本章只從機器學習（ML）領域來對其進行闡述，機器學習其實是個不停的模擬現實的過程，比如無人駕駛車，語音識別，流感預測，天氣預報，經濟周期行為等眾多領域，是互聯網發展過程中“科學家”（暫且這么稱呼吧）對于人類文明進步的另一個貢獻，其本質就是要建立一個數學模型用于模擬現實，越接近真實越好，那么轉化為數學語言即LF越小越好，因為LF值代表著現實與學習預測的差距，這個不停的縮小LF值的過程就稱為優化，如果理解這些的話，就不難理解優化問題對于ML來說的重要性了，如水之于魚，魂之于人！

二、幾種Loss Function概述

如上一節所述，LF的概念來源于機器學習，同時我們也知道機器學習的應用范圍相當廣泛，幾乎可以涵蓋整個社會領域，那么自然不同的領域多少會有不同的做法，這里介紹在一般的機器學習算法中常見的幾種，具有概括性

2.1 一般形式

LF分為兩部分：L+R，L表示loss term，其中?，?，w表示學習出來的權重，該公式的作用很明顯了，用來收集現實與學習結果的差距，是LF的核心部分，LF的不同大部分也是指的loss term的不同；R表示范式，范式存在的意思是進行約束，以防止優化過偏。

2.2 一般的loss term有5種，分別用于5種常見的機器學習算法

Gold Standard（標準式）于理想sample，這種一般很少有實踐場景，這個方法的作用更多的是用來衡量其他LF的效用；Hinge于soft-margin svm算法；log于LR算法（Logistric Regression）；squared loss于線性回歸（Liner Regression）和Boosting。

1）Gold Standard loss，一般我們稱這個LF為L01，從公式中可以看出該公式的主要職責是在統計多少個錯誤的case，很明顯現實數據不允許如此簡單的統計方式

從公式我們可以很清楚的看出，當m<0的時候L=1，m<0說明預測失敗，那么Loss則加1，這樣將錯誤累加上去，就是Gold Standard loss的核心思想。

2）hinge loss，常用于“maximum-margin”的算法，公式如下

這個公式也很好理解，其中?在前面介紹過，表示樣本i在模型下的預測值的樣本i的類標記{-1,1}的乘積，這個乘積可以用來檢驗預測與真實結果是否一致來表示分類是否正確，當乘積大于0時表示分類正確，反之亦然。

3)?log loss(一般又稱為基于最大似然的負log loss)

likelihood=

其中?是log函數

最大似然思想指的是使得某種情況發生的概念最大的思想，根據LR的思想（參考這篇文章logistic回歸深入篇（1）），我們知道g(w)對應的simod圖，其將實域上的值映射到區間{0,1}，因此我們可以把g(w)看作事件A發生的概率，那么1-g(w)可以看作事件A不發生的概率，那么公式likelihood表達的含義就很明顯了，y也是一個概率值，可以看做是對事件A與A逆的分量配額，當然我們的期望是A發生的可能越大越好，A逆發生的可能越小越好！因此likelihood是一個max的過程，而loss是一個min的過程，因此log loss是負的likelihood。

4）square loss

這個loss很好理解，就是平方差，loss 一般也成為最小二乘法

5）boosting loss

這個loss主要是基于指數函數的loss function。

三、幾種Loss Function的效果對比

?

?

?

?

?

?

?

?

?

?

?

?

上圖是多LF的效果對比圖，其中藍色的是Gold loss，可以看作水平基線，其他的loss的效果可以基于與它的比較結果，首先，紅色的是Hinge loss，黃色的是log loss，綠色的是boosting loss，黑色的是square loss，從上圖可以看出以下結論： Hinge，log對于噪音函數不敏感，因為當m<0時，他們的反應不大，而黑線與綠線可能更愛憎分明，尤其是黑線，因此，在很多線性分類問題中，square loss也是很常見的LF之一。

總結

以上是生活随笔為你收集整理的Loss Function view的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。