輸出層的設計

神經網絡可以用在分類問題和回歸問題上，不過需要根據情況改變輸出層的激活函數。一般而言，回歸問題用恒等函數，分類問題用softmax函數。

1、恒等函數和softmax函數

• 恒等函數：將輸入按原樣輸出，對于輸入的信息，不加以任何改動地直接輸出。
• softmax函數：
  
  圖示：
  
• 實現softmax注意事項：
  溢出問題解決措施：減去輸出信號最大值。
• softmax特征：softmax函數的輸出是0.0到1.0之間的實數。并且，softmax函數的輸出值的總和是1。輸出可以解釋為“概率”。
• 即便使用了softmax函數，各個元素之間的大小關系也不會改變。這是因為指數函數（y = exp(x)）是單調遞增函數。
• 神經網絡在進行分類時，輸出層的softmax函數可以省略。

2、softmax函數 VS sigmoid函數

softmax函數

• softmax =多類別分類問題=只有一個正確答案=互斥輸出（手寫數字）。構建分類器，解決只有唯一正確答案的問題時，用softmax函數處理各個原始輸出值。softmax函數的分母綜合了原始輸出值的所有因素，這意味著，softmax函數得到的不同概率之間相互關聯。

• softmax函數，又稱歸一化指數函數。

sigmoid函數

• sigmoid =多標簽分類問題=多個正確答案=非獨占輸出。構建分類器，解決有多個正確答案的問題時，用sigmoid函數分別處理各個原始輸出值。

• sigmoid函數是一種logistic函數。

• 優點：1、sigmoid函數的輸出在(0,1)之間，輸出范圍有限，優化穩定，可以用作輸出層。2. 連續函數，便于求導。

• 缺點：1. 最明顯的就是飽和性，容易造成梯度消失。2.激活函數的偏移現象。sigmoid函數的輸出值均大于0，使得輸出不是0的均值，這會導致后一層的神經元將得到上一層非0均值的信號作為輸入，這會對梯度產生影響。 3. 計算復雜度高，因為sigmoid函數是指數形式。

總結

• softmax函數是二分類函數sigmoid在多分類上的推廣，目的是將多分類的結果以概率的形式展現出來。
• sigmoid函數可以用來解決多標簽問題，softmax函數用來解決單標簽問題。
• 對于某個分類場景，當softmax函數能用時，sigmoid函數一定可以用。

總結

以上是生活随笔為你收集整理的神经网络之输出层设计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。