一、sigmod

1.函數與圖像：[0,1]

?

??

?? 2.優缺點：

??? 優點：輸出映射在[0,1]之間；求導容易；無限階可導。

????缺點：容易產生梯度消失的問題；輸出不是以0為中心（這個特性會導致為在后面神經網絡的高層處理中收到不是零中心的數據。這將導致梯度下降時的晃動，因為如果數據到了神經元永遠時正數時，反向傳播時權值w就會全為正數或者負數。這將導致梯度下降不希望遇到的鋸齒形晃動）。（參考https://blog.csdn.net/nuannuanyingying/article/details/70064353）

二、tanh

??? 1.函數與圖像：[-1,+1]

???

??????

??? 2.優缺點：

???? 優點：和sigmoid相比收斂速度快；

???? 缺點：容易梯度消失；

三、RELU

??? 1.函數與圖像：[0,+∞]

???? f(x ) = max(0,x)? 即　if x>=0 時　f(x) = x,否則f(x) = 0

?????

????2.優缺點：

???? 優點：收斂快；解決梯度消失問題；提供了神經網絡的稀疏表達能力；

???? 缺點：隨著訓練的進行，可能會出現神經元死亡，權重無法更新的情況；（可用小的負梯度如0.01等代替0）

四、softmax

??? 1.函數與圖像：

???

?????

??????? 2.一些問題：

???????? 為什么要取指數？

???????? 第一個原因是要模擬 max 的行為，所以要讓大的更大。第二個原因是需要一個可導的函數。

五、一些問題

??? 1.為什么要用激活函數？

???? 答：如果不用激活函數，每一層輸出都是上層輸入的線性函數，無論神經網絡有多少層，輸出都是輸入的線性組合。
??????????? 如果使用的話，激活函數給神經元引入了非線性因素，使得神經網絡可以任意逼近任何非線性函數，這樣神經網絡就可以應用到眾多的非線性模型中。

??? 2.互相比較：

??? sigmod與softmax:

??? sigmod做二分類，softmax做k分類的概率值；二分類問題時 sigmoid 和 softmax 是一樣的，求的都是 cross entropy loss，而 softmax 可以用于多分類問題，softmax是sigmoid的擴展；softmax建模使用的分布是多項式分布，而logistic則基于伯努利分布。

?

???

轉載于:https://www.cnblogs.com/EstherLjy/p/9343487.html

總結

以上是生活随笔為你收集整理的【激活函数对比】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。