輸出層的設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)可以用在分類問題和回歸問題上，不過需要根據(jù)情況改變輸出層的激活函數(shù)。一般而言，回歸問題用恒等函數(shù)，分類問題用softmax函數(shù)。

1、恒等函數(shù)和softmax函數(shù)

• 恒等函數(shù)：將輸入按原樣輸出，對于輸入的信息，不加以任何改動地直接輸出。
• softmax函數(shù)：
  
  圖示：
  
• 實(shí)現(xiàn)softmax注意事項(xiàng)：
  溢出問題解決措施：減去輸出信號最大值。
• softmax特征：softmax函數(shù)的輸出是0.0到1.0之間的實(shí)數(shù)。并且，softmax函數(shù)的輸出值的總和是1。輸出可以解釋為“概率”。
• 即便使用了softmax函數(shù)，各個元素之間的大小關(guān)系也不會改變。這是因?yàn)橹笖?shù)函數(shù)（y = exp(x)）是單調(diào)遞增函數(shù)。
• 神經(jīng)網(wǎng)絡(luò)在進(jìn)行分類時，輸出層的softmax函數(shù)可以省略。

2、softmax函數(shù) VS sigmoid函數(shù)

softmax函數(shù)

• softmax =多類別分類問題=只有一個正確答案=互斥輸出（手寫數(shù)字）。構(gòu)建分類器，解決只有唯一正確答案的問題時，用softmax函數(shù)處理各個原始輸出值。softmax函數(shù)的分母綜合了原始輸出值的所有因素，這意味著，softmax函數(shù)得到的不同概率之間相互關(guān)聯(lián)。

• softmax函數(shù)，又稱歸一化指數(shù)函數(shù)。

sigmoid函數(shù)

• sigmoid =多標(biāo)簽分類問題=多個正確答案=非獨(dú)占輸出。構(gòu)建分類器，解決有多個正確答案的問題時，用sigmoid函數(shù)分別處理各個原始輸出值。

• sigmoid函數(shù)是一種logistic函數(shù)。

• 優(yōu)點(diǎn)：1、sigmoid函數(shù)的輸出在(0,1)之間，輸出范圍有限，優(yōu)化穩(wěn)定，可以用作輸出層。2. 連續(xù)函數(shù)，便于求導(dǎo)。

• 缺點(diǎn)：1. 最明顯的就是飽和性，容易造成梯度消失。2.激活函數(shù)的偏移現(xiàn)象。sigmoid函數(shù)的輸出值均大于0，使得輸出不是0的均值，這會導(dǎo)致后一層的神經(jīng)元將得到上一層非0均值的信號作為輸入，這會對梯度產(chǎn)生影響。 3. 計(jì)算復(fù)雜度高，因?yàn)閟igmoid函數(shù)是指數(shù)形式。

總結(jié)

• softmax函數(shù)是二分類函數(shù)sigmoid在多分類上的推廣，目的是將多分類的結(jié)果以概率的形式展現(xiàn)出來。
• sigmoid函數(shù)可以用來解決多標(biāo)簽問題，softmax函數(shù)用來解決單標(biāo)簽問題。
• 對于某個分類場景，當(dāng)softmax函數(shù)能用時，sigmoid函數(shù)一定可以用。

總結(jié)

以上是生活随笔為你收集整理的神经网络之输出层设计的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。