前言

　　損失函數(shù)是一種將一個(gè)事件（再一個(gè)樣本空間中的一個(gè)元素）映射到一個(gè)表達(dá)與其事件相關(guān)的成本的實(shí)數(shù)上的一個(gè)函數(shù)，通常在最優(yōu)化、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等領(lǐng)域中有所應(yīng)用，且在不同領(lǐng)域下應(yīng)用的方式不同。

　　一個(gè)最佳化的問(wèn)題是將損失函數(shù)最小化，即通過(guò)最小化損失函數(shù)求解和評(píng)估模型

　　在這里就只簡(jiǎn)單記錄線性回歸問(wèn)題中常用的均方誤差損失函數(shù)和分類問(wèn)題中常用到的交叉熵?fù)p失函數(shù)

均方誤差損失函數(shù)

　　首先其具體形式為：

　　　　

　　總的來(lái)說(shuō)就是預(yù)測(cè)值與真實(shí)值之間的方差

注：中的2的作用是為了簡(jiǎn)化求導(dǎo)過(guò)程，損失函數(shù)的目的是為了最小化,所以除以2并不會(huì)影響最優(yōu)化結(jié)果

　　

　　至于損失函數(shù)是如何工作的，不妨去吳恩達(dá)機(jī)器學(xué)習(xí)中關(guān)于代價(jià)函數(shù)的講解中學(xué)習(xí)，視頻會(huì)比單純的文字加圖像更為清晰，視頻資源可自行上b站搜索《吳恩達(dá)機(jī)器學(xué)習(xí)》或點(diǎn)此跳轉(zhuǎn)

　　至于如何在損失函數(shù)中求出最小值所對(duì)應(yīng)的參數(shù)，可通過(guò)梯度下降算法實(shí)現(xiàn)。

交叉熵?fù)p失函數(shù)

　　首先其中一種常見的形式為：

　　

　　對(duì)應(yīng)參數(shù)解釋同上。

　　簡(jiǎn)單列舉幾個(gè)關(guān)于交叉熵的要點(diǎn)：

了解交叉熵首先要明白什么是信息量，即
交叉熵的公式可通過(guò)相對(duì)熵（KL散度）轉(zhuǎn)換而來(lái),即　　（其中p為真實(shí)值，q為預(yù)測(cè)值）

對(duì)于機(jī)器學(xué)習(xí)中關(guān)于損失函數(shù)的定義：

　　　　　　　　a)　在單分類問(wèn)題中，對(duì)應(yīng)于一個(gè)batch的loss為：
　　　　　　　　　　

　　　　　　　　b)
在多分類問(wèn)題中，對(duì)應(yīng)于一個(gè)batch的loss為：

　　　　　　　　　　

　　　　　　　　上兩式中m為當(dāng)前batch中的樣本量，n為類別數(shù)，且這里的單分類指圖像中只有一種類別，這里的多分類指圖像中有多個(gè)類別

　　　　　　注：這里log函數(shù)指的是ln函數(shù)

　　關(guān)于公式的推導(dǎo)過(guò)程及詳細(xì)講解這里推薦兩個(gè)講的非常詳細(xì)的文章

https://blog.csdn.net/red_stone1/article/details/80735068

https://blog.csdn.net/tsyccnh/article/details/79163834

總結(jié)

以上是生活随笔為你收集整理的损失函数（均方误差、交叉熵）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。