深度学习基础（二）激活函数
? ? ? ? 激活函數（也被稱為激勵函數）的意義就是加入非線性因素，使得神經網絡具有非線性表達的能力。其必要條件是激活函數的輸入和輸出都是可微的，因為神經網絡要求處處可微。(可微是指函數的各個方向可導，可微大于等于可導)
一、激活函數的定義與作用
1.定義。如下圖所示，激活函數一般是在神經元的輸入(inputs)經過加權求和之后，還繼續被一個函數作用。該函數就是激活函數。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
2.作用。激活函數的意義也就是加入非線性因素，讓神經網絡具備非線性的表達能力(當然不是真正意義上的非線性，不過可以逼近任意的非線性函數罷了)。這也是個很了不得的進步了。
二、激活函數的類型
函數類型主要有Sigmoid、Tanh、Relu及其變種等函數。
1.Sigmoid
公式：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
函數曲線：
將輸入x映射到（0，1）之間，對二分類比較有效。其缺點比較明顯，
1）激活函數計算量大，收斂緩慢
2）反向傳播時，容易出現梯度消失
2.Tanh
Tanh可以說是Sigmoid函數的升級版（但是并不能完全代替Sigmoid，因為有時要求輸出大于等于0時，Sigmoid還是具有不可替代性），Tanh的值域為(-1，1)。
公式：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
函數曲線：
與Sigmoid相比，Tanh具有zero-centered的特性，并且具有放大特征的能力，但依然具有梯度消失和冪運算的計算復雜等問題。
3.Relu
Relu函數更為常用，因為其重視正向信號忽視負向信號和人類神經元細胞的特性特別相似，所以具有非常好的擬合效果。
公式：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
曲線：
雖然Relu是一個取最大值函數，并且局部可導，但是它是近幾年來激活函數比較突出的進展，主要表現以下幾點：
1）解決了梯度消失的問題（僅僅是在正區間）；
2）計算速度和收斂速度快；
缺點也比較明顯：
1）不具備zero-centered的特性；
2）Dead ReLU Problem。由于參數初始化的不幸或者learning rate的設置不正確（設置過大）導致的神經元可能永遠不會被激活，即相應的參數永遠不能被更新問題。其解決辦法是采用Xavier初始化方法，以及避免將learning rate設置太大或使用adagrad等自動調節learning rate的算法。
Relu和后面優化函數中的Adam算法一樣，請優先使用(特別是對我這樣的新手而言)。
4.Relu的變種PReLU
PReLU
公式：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
曲線：
主要是為了避免Relu的Dead ReLU Problem問題，令Relu的負半段為設為αx 而非0。
但是無法通過測試說明PReLU完全比Relu具有更好的表達性。
Relu6（tensorflow的函數）
公式：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
Relu6可有效防止梯度爆炸，由于節點和層數過多且輸出為正時，經加權計算時輸出與目標相差過大導致參數調整修正值過大引發的網絡抖動，無法收斂的情況。
5.softmax
softmax函數是一個多分類函數，主要用于多分類任務。
公式：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
其輸出是分類的n個標簽，每個標簽的概率，其概率的和為1，其中選取概率最大的分類作為預測的目標。
總結：
1.深度學習必要的條件是大量的數據，針對數據最好采用zero-centered數據 和zero-centered輸出，所以盡量選擇具有zero-centered特點的激活函數以加快模型的收斂速度；
2.使用Relu時，要對learning rate比較熟悉，避免出現大量的“dead”神經元；
3.激活函數的使用，一般來說多分類的最后一層使用Softmax函數。而其余函數的使用優先順序分別是Relu > Tanh >Sigmoid，一般來說Sigmoid最好不要使用，當然具體情況還是需要具體分析的。
參考文獻：
1.《深度學習之tensorflow》；
2.https://blog.csdn.net/sinat_29957455/article/details/81841278
如有錯誤，請聯系博主改正，謝謝指正！
總結
以上是生活随笔為你收集整理的深度学习基础（二）激活函数的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 蠢货别忘（一）common lisp f
- 下一篇： 深度学习基础（三）loss函数