1 起源

在一些問題中，我們的目標(biāo)函數(shù)是max(x1,x2,...xn) 或者min(x1,x2,....xn)，但是max和min都不是可微函數(shù)，因而這些目標(biāo)函數(shù)無法直接用到深度學(xué)習(xí)任務(wù)中

2 交叉熵與softmax

????????在神經(jīng)網(wǎng)絡(luò)中，假設(shè)我們最后一層使用的是softmax，來得到各個概率分布，softmax的形式為，其中

????????而在分類問題或者一些其他問題中，我們會使用到交叉熵，其中的每一項，我們都有形如

? ? ? ? 其中，減號后面的部分，就是這一個博客需要說明的log-sum-exp (LSE)

2.1 softmax的上下溢出

????????假設(shè)我們目前有兩個例子：一個數(shù)據(jù)集為[10000,10000,10000]（很大的數(shù)，exp(xi)之后會上溢出）；另一個數(shù)據(jù)集為[-10000,-10000,-10000]（很小的數(shù)，exp(xi)之后會下溢出）

? ? ? ? 這兩組數(shù)據(jù)，如果我們用肉眼去看，肯定可以很輕松地得到它的概率分布為，但是，如果我們用python去計算這兩個數(shù)據(jù)集的概率的時候：會是這樣的情況：

import numpy as np def softmax(lst):lst_exp=np.exp(lst)total=np.sum(lst_exp)return(lst_exp/total)softmax([10,10,10]) #array([0.33333333, 0.33333333, 0.33333333]) #數(shù)值不大的時候，可以得到正確的softmax結(jié)果softmax([10000,10000,10000]) ''' RuntimeWarning: overflow encountered in expThis is separate from the ipykernel package so we can avoid doing imports until python\python37\lib\site-packages\ipykernel_launcher.py:5: RuntimeWarning: invalid value encountered in true_divide""" array([nan, nan, nan]) '''softmax([-10000,-10000,-10000])'''RuntimeWarning: invalid value encountered in true_divide""" array([nan, nan, nan]) '''

????????我們可以發(fā)現(xiàn)，數(shù)值不是很大/小的時候，是可以得到正確的softmax結(jié)果的，但是如果是我們給的這兩組極大/小的數(shù)據(jù)集，那么會得到上/下溢出，得不到正確的softmax結(jié)果

? ? ? ? 在softmax的時候是針對指數(shù)進行操作的，值一定會很大。但是之后在計算cross-entropy的時候由于log的存在導(dǎo)致值又回到正常范圍。

????????因此在實際操作中，考慮如何去重寫，以得到正常范圍內(nèi)的值。也就是如何去近似log-sum-exp。

3 log-sum-exp trick

我們假設(shè)第j項是x中最大的：

? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ??

而之前我們計算softmax項的時候，有：

所以我們現(xiàn)在有：

此時差分比絕對數(shù)值要小很多了，大的數(shù)據(jù)也就可以計算了

#這里的意義其實和前面的softmax函數(shù)有一點小小的出入，這里是前面softmax的結(jié)果再經(jīng)過了log之后的內(nèi)容np.log([1/3,1/3,1/3]) #array([-1.09861229, -1.09861229, -1.09861229])import numpy as np def softmax_log(lst):max_val=np.max(lst)lst=lst-max_val#lst就相當(dāng)于xk-xjlst_exp=np.exp(lst)total=np.sum(lst_exp)total=np.log(total)#最后一項return(lst-total)softmax_log([10000,10000,10000]) #array([-1.09861229, -1.09861229, -1.09861229])softmax_log([-10000,-10000,-10000]) #array([-1.09861229, -1.09861229, -1.09861229])softmax_log([100,100,100]) #array([-1.09861229, -1.09861229, -1.09861229])

?4 max的平滑

根據(jù)泰勒分解，我們有：

于是我們這里令 上式的X為x+a，c為x，f(X)=log(X)

所以

也即?

而當(dāng)xj是最大的一項時，我們第二項可以忽略不計（值比第一項要小很多）

所以

參考資料?關(guān)于LogSumExp - 知乎 (zhihu.com)

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的max函数的平滑（log-sum-exp trick）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。