之前一直很奇怪這個名字，本身是做一個類似歸一化的動作，把整體一個vector“壓縮”成一個符合概率分布的樣子，為什么叫softmax呢？

今天查了下，看了下部分答案，大概寫一下理解。

softmax，是和hard-max來對應的。

他完成了兩個功能，一個是max，一個是soft。

max部分：softmax函數處理之后，整體最大的值還是最大值，這個排序順序沒有變化，相當于大小順序的信息沒有丟失；

soft部分：soft意味著，是一種可以反向恢復的一種轉換。與之對應的，是hard轉換。比如說，我們定義對一個vector的hard-max函數，要求也是轉變成一個概率分布，單項在[0,1]之間，sum為1。那么，可以定義hard-max為：

Hard-max(vector) = [1 if x is max else 0 for x in vector]

可以看出，這個定義的hard-max也滿足概率分布的條件，但它是不可逆的。算是“硬轉換”。

因此，對比起來，這個soft-max函數算是一種soft（可逆的）max函數轉換為一個概率分布的vector。

參考：

1.?https://math.stackexchange.com/questions/1888141/why-is-the-softmax-function-called-that-way

總結

以上是生活随笔為你收集整理的softmax函数为什么叫softmax？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。