Soft-Clipping激活函數(shù)

論文：Soft Clipping Mish – A Novel Activation Function for Deep Learning

年份：2021

簡介

該函數(shù)與Soft-Clipping Swish激活函數(shù)十分相似，同樣都是在負(fù)區(qū)域硬規(guī)定為0，正區(qū)域?yàn)镸ish激活函數(shù)。這樣可以增加正區(qū)域的非線性，但同樣負(fù)區(qū)域容易造成神經(jīng)元死亡。
$$Mish(x)=x?tanh(softplus(x))$$
其中，Softplus激活函數(shù)為：
$$Softplus(x)=log(1+e^x)$$
由此可以獲得SC_Mish的公式：
$$f(x)=\max (0,x?tanh(softplus(\alpha x)))$$
參數(shù)$\alpha$是一個預(yù)定義參數(shù)，它被設(shè)置為1。SC_Mish是一種連續(xù)的，單調(diào)的功能，底部有邊界，頂部無邊無際。它接受范圍內(nèi)的值$\left[0,+\infty \right)$。

當(dāng)$\alpha$為可學(xué)習(xí)參數(shù)時，該可學(xué)習(xí)參數(shù)在訓(xùn)練階段初始化，初始值為0.25，在網(wǎng)絡(luò)權(quán)值更新的情況下進(jìn)行更新。
SC_Mish的導(dǎo)數(shù)為：
$$f^{\prime }(x)=tanh(softplus(\alpha x))+\frac{\alpha e^{\alpha x}xsec{h}^2(softplus(1+e^{\alpha x}))}{1+e^{\alpha x}}$$
SC_Mish的曲線如下圖所示。

SC_Mish的導(dǎo)數(shù)如下圖所示

總結(jié)

以上是生活随笔為你收集整理的Soft-Clipping Mish激活函数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。