論文鏈接：
https://www.aminer.cn/pub/6189e6d15244ab9dcb76ebc9?f=cs
神經網絡是深度學習的支柱。激活函數是神經網絡的大腦，在深度神經網絡的有效性和訓練中起著核心作用。ReLU由于其簡單性而成為深度學習領域的常用選擇。盡管它很簡單，但ReLU有一個主要的缺點，即ReLU死亡問題，在這種情況下，多達50%的神經元在網絡訓練期間死亡。
為了克服ReLU的不足，近年來提出了大量的激活方法，其中Leaky ReLU、Parametric ReLU 、ELU、Softplus、隨機化Leaky ReLU是其中的幾種，它們在一定程度上改善了ReLU的性能。
Swish是谷歌腦組提出的非線性激活函數，對ReLU有一定的改善；GELU是另一種常用的平滑激活函數。可以看出，Swish和GELU都是ReLU的光滑近似。近年來，人們提出了一些提高ReLU、Swish或GELU性能的非線性激活方法，其中一些是ReLU或Leaky ReLU的光滑逼近方法，還有TanhSoft、EIS、Padé激活單元、正交Padé激活單元、Mish、ErfAct等。
maximum function在原點處是非光滑的。在本文中，作者將探討maximum function的平滑逼近如何影響網絡的訓練和性能。
AMiner,讓AI幫你理解科學！https://www.aminer.cn

總結

以上是生活随笔為你收集整理的AMiner推荐论文：SMU: smooth activation function for deep networks using smoothing maximum technique的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。