Softmax的含義：Softmax簡單的說就是把一個(gè)N*1的向量歸一化為（0，1）之間的值，由于其中采用指數(shù)運(yùn)算，使得向量中數(shù)值較大的量特征更加明顯。

如圖所示，在等號(hào)左邊部分就是全連接層做的事。

W是全連接層的參數(shù)，我們也稱為權(quán)值；W是全連接層的參數(shù)，是個(gè)T*N的矩陣，這個(gè)N和X的N對(duì)應(yīng)，T表示類別數(shù)，比如你進(jìn)行手寫數(shù)字識(shí)別，就是10個(gè)分類，那么T就是10。

X是全連接層的輸入，也就是特征。從圖上可以看出特征X是N1的向量，他就是由全連接層前面多個(gè)卷積、激活和池化層處理后得到的；
舉一個(gè)例子，假設(shè)全連接層前面連接的是一個(gè)卷積層，這個(gè)卷積層的輸出是64個(gè)特征，每個(gè)特征的大小是7X7，那么在將這些特征輸入給全連接層之前會(huì)將這些特征通過tf.reshape轉(zhuǎn)化為成N1的向量（這個(gè)時(shí)候N就是64X7X7=3136）。
我們所說的訓(xùn)練一個(gè)網(wǎng)絡(luò)，對(duì)于全連接層而言就是尋找最合適的W矩陣。因此全連接層就是執(zhí)行WX得到一個(gè)T1的向量（也就是圖中的logits[T1]），這個(gè)向量里面的每個(gè)數(shù)都沒有大小限制的，也就是從負(fù)無窮大到正無窮大。然后如果你是多分類問題，一般會(huì)在全連接層后面接一個(gè)softmax層，這個(gè)softmax的輸入是T1的向量，輸出也是T1的向量（也就是圖中的prob[T*1]，這個(gè)向量的每個(gè)值表示這個(gè)樣本屬于每個(gè)類的概率），只不過輸出的向量的每個(gè)值的大小范圍為0到1。

softmax函數(shù)，或稱歸一化指數(shù)函數(shù)，是邏輯函數(shù)的一種推廣。它能將一個(gè)含任意實(shí)數(shù)的K維向量A “壓縮”到另一個(gè)K維實(shí)向量 A' 中，使得A' 每一個(gè)元素的范圍都在（0,1）之間，并且所有元素的和為1。

該函數(shù)的形式可以按下面的式子給出：

可能大家一看到公式就有點(diǎn)暈了，別被嚇跑，我來簡單解釋一下。這個(gè)公式的意思就是說得到的A'向量中的每個(gè)元素的值，是由A中對(duì)應(yīng)元素的指數(shù)值除以A中所有元素的指數(shù)值的總和。

舉個(gè)例子：假設(shè)你的A =[1,2,3]，那么經(jīng)過softmax函數(shù)后就會(huì)得到A' = [0.09, 0.24, 0.67]，A'的三個(gè)元素分別是怎么來的呢？

A'的第1個(gè)元素 ?= exp(1) / (exp(1) + exp(2) + exp(3)) = 0.09（這里exp即為e）

A'的第2個(gè)元素 ?= exp(2) / (exp(1) + exp(2) + exp(3)) = 0.24

A'的第3個(gè)元素 ?= exp(3) / (exp(1) + exp(2) + exp(3)) = 0.67

由于Softmax函數(shù)的這個(gè)特點(diǎn)，經(jīng)常會(huì)被用在神經(jīng)網(wǎng)絡(luò)來解決分類問題中，得到的結(jié)果就可以認(rèn)為是滿足各種分類的概率。

弄懂了softmax，就要來說說softmax loss了。
那softmax loss是什么意思呢?如下：

首先L是損失。Sj是softmax的輸出向量S的第j個(gè)值，前面已經(jīng)介紹過了，表示的是這個(gè)樣本屬于第j個(gè)類別的概率。yj前面有個(gè)求和符號(hào)，j的范圍也是1到類別數(shù)T，因此y是一個(gè)1*T的向量，里面的T個(gè)值，而且只有1個(gè)值是1，其他T-1個(gè)值都是0。那么哪個(gè)位置的值是1呢？答案是真實(shí)標(biāo)簽對(duì)應(yīng)的位置的那個(gè)值是1，其他都是0。所以這個(gè)公式其實(shí)有一個(gè)更簡單的形式：

當(dāng)然此時(shí)要限定j是指向當(dāng)前樣本的真實(shí)標(biāo)簽。

來舉個(gè)例子吧。假設(shè)一個(gè)5分類問題，然后一個(gè)樣本I的標(biāo)簽y=[0,0,0,1,0]，也就是說樣本I的真實(shí)標(biāo)簽是4，假設(shè)模型預(yù)測的結(jié)果概率（softmax的輸出）p=[0.1,0.15,0.05,0.6,0.1]，可以看出這個(gè)預(yù)測是對(duì)的，那么對(duì)應(yīng)的損失L=-log(0.6)，也就是當(dāng)這個(gè)樣本經(jīng)過這樣的網(wǎng)絡(luò)參數(shù)產(chǎn)生這樣的預(yù)測p時(shí)，它的損失是-log(0.6)。那么假設(shè)p=[0.15,0.2,0.4,0.1,0.15]，這個(gè)預(yù)測結(jié)果就很離譜了，因?yàn)檎鎸?shí)標(biāo)簽是4，而你覺得這個(gè)樣本是4的概率只有0.1（遠(yuǎn)不如其他概率高，如果是在測試階段，那么模型就會(huì)預(yù)測該樣本屬于類別3），對(duì)應(yīng)損失L=-log(0.1)。那么假設(shè)p=[0.05,0.15,0.4,0.3,0.1]，這個(gè)預(yù)測結(jié)果雖然也錯(cuò)了，但是沒有前面那個(gè)那么離譜，對(duì)應(yīng)的損失L=-log(0.3)。我們知道log函數(shù)在輸入小于1的時(shí)候是個(gè)負(fù)數(shù)，而且log函數(shù)是遞增函數(shù)，所以-log(0.6) < -log(0.3) < -log(0.1)。簡單講就是你預(yù)測錯(cuò)比預(yù)測對(duì)的損失要大，預(yù)測錯(cuò)得離譜比預(yù)測錯(cuò)得輕微的損失要大。

理清了softmax loss，就可以來看看cross entropy了。
corss entropy是交叉熵的意思，它的公式如下：

是不是覺得和softmax loss的公式很像。當(dāng)cross entropy的輸入P是softmax的輸出時(shí)，cross entropy等于softmax loss。Pj是輸入的概率向量P的第j個(gè)值，所以如果你的概率是通過softmax公式得到的，那么cross entropy就是softmax loss。

轉(zhuǎn)載內(nèi)容，根據(jù)自己理解稍作修改，原文連接為：
https://blog.csdn.net/u014380165/article/details/77284921

參考自：https://blog.csdn.net/wgj99991111/article/details/83586508

https://blog.csdn.net/kevindree/article/details/87365355

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的对tf.nn.softmax的理解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。