*此系列為斯坦福李飛飛團隊的系列公開課“cs231n convolutional neural network for visual recognition ”的學習筆記。本文主要是對module 1 的part2 Linear classification: Support Vector Machine, Softmax 的翻譯與學習。Softmax classifier是另一種常用的分類器，它可以看作是二類羅杰斯特回歸對于多種分類情況的推廣。在Softmax classifier中，判別函數與SVM一致，但是損失函數被重新定義為：

可以從信息論的角度來解讀Softmax classifier:

p為正確的分類，q為算法估計出的分類。 Softmax classifier就是要縮小p，q之間的信息熵。其中q是對樣本分類的估計：

p是樣本的正確分類，用一個向量表示，這個向量中只有一個維度是1，其余全部都是0.

從概率的角度來解讀：

上式表示在W的條件下，對輸入Xi進行分類，Xi屬于第yi類的概率。對于正確的分類，我們要盡力縮小否定的可能性（minimizing the negative log likelihood of the correct class），我們可以用極大似然估計來解決這個問題。也可以用極大后驗概率估計（Maximum a posteriori (MAP) ）來解決這個問題。

數據穩定性

C是一個常熟，它的選取通常遵循準則：

svm vs softmax

SVM與softmax的具體操作過程如上圖所示，值得注意的是，最后得到的損失函數并不具備可比性。只有用相同的分類器得到的損失函數才具備可比性。 softmax為圖片是否屬于某個類別提供了一個“概率”。之所以打引號，是因為進過softmax對判別函數的處理后，所有判別的得分之和是1。例如：

如果將W整體拉伸，縮小一倍。判別的結果將變為：可以看出，“概率”的分布更加分散了。

實踐中，SVM和softmax常常的性能常常不相上下。差別微乎其微。

總結

以上是生活随笔為你收集整理的CS231n 学习笔记（2）——神经网络 part2 ：Softmax classifier的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。