之前一直很奇怪這個(gè)名字，本身是做一個(gè)類(lèi)似歸一化的動(dòng)作，把整體一個(gè)vector“壓縮”成一個(gè)符合概率分布的樣子，為什么叫softmax呢？

今天查了下，看了下部分答案，大概寫(xiě)一下理解。

softmax，是和hard-max來(lái)對(duì)應(yīng)的。

他完成了兩個(gè)功能，一個(gè)是max，一個(gè)是soft。

max部分：softmax函數(shù)處理之后，整體最大的值還是最大值，這個(gè)排序順序沒(méi)有變化，相當(dāng)于大小順序的信息沒(méi)有丟失；

soft部分：soft意味著，是一種可以反向恢復(fù)的一種轉(zhuǎn)換。與之對(duì)應(yīng)的，是hard轉(zhuǎn)換。比如說(shuō)，我們定義對(duì)一個(gè)vector的hard-max函數(shù)，要求也是轉(zhuǎn)變成一個(gè)概率分布，單項(xiàng)在[0,1]之間，sum為1。那么，可以定義hard-max為：

Hard-max(vector) = [1 if x is max else 0 for x in vector]

可以看出，這個(gè)定義的hard-max也滿足概率分布的條件，但它是不可逆的。算是“硬轉(zhuǎn)換”。

因此，對(duì)比起來(lái)，這個(gè)soft-max函數(shù)算是一種soft（可逆的）max函數(shù)轉(zhuǎn)換為一個(gè)概率分布的vector。

參考：

1.?https://math.stackexchange.com/questions/1888141/why-is-the-softmax-function-called-that-way

總結(jié)

以上是生活随笔為你收集整理的softmax函数为什么叫softmax？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。