目錄

1. 激活函數activation function

1.1 Sigmoid

1.2 tanh?

1.3 ReLU

1.4 Leaky ReLU

1.5 softmax

1.6?Gelu

2. 歸一化 normalization

2.1 Layer normalization

3. 損失函數

3.1?sigmoid函數

3.2 KL divergence loss

3.3 reconstruction loss

4. 評價指標

4.1 BLUE 和 ROUGE/ru??/

參考

---

??????????????

1. 激活函數activation function

作者：量子位
鏈接：https://www.zhihu.com/question/264189719/answer/649129090
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。
?

你也許會注意到，在上面的神經網絡中，每層的輸出都是在線性運算的結果后加上一個“過濾”。為什么要這樣處理呢？

現實中輸入和輸出之間的關系通常并非線性。如果神經網絡的架構僅由線性算法組成，那么它很難計算出非線性行為。所以我們要在每層的結尾加上一個激活函數。

【擴展學習：非線性函數】線性函數是一次函數的別稱，則非線性函數即函數圖像不是一條直線的函數。非線性函數包括指數函數、冪函數、對數函數、多項式函數等等基本初等函數以及他們組成的復合函數。

不同的激活函數有不同的特點。選取不當會導致梯度變得非常小，就是通常所說的梯度消失問題。

另外還存在一種相反的問題，就是梯度爆炸，當梯度值過大時，網絡會變得非常不穩定。

常見的4種激活函數有：Sigmoid、tanh，ReLU、leaky ReLU，下面簡單討論一下它們的優缺點。

1.1 Sigmoid

1/(1+e-x)

這個函數非常適合將輸入分為兩類。它的形狀很緩和，因此它的梯度能得到很好的控制。

主要的缺點是，在極端情況下，函數輸出變得非常平坦。這意味著它存在梯度消失的問題。

1.2 tanh?

(2 / (1+e-2x)) - 1

它與Sigmoid非常相似。函數曲線更陡峭，因此它的輸出也將更強大。缺點與Sigmoid類似。

1.3 ReLU

max（0，x）

如果輸入大于0，則輸出等于輸入。否則，輸出為0。

它的輸出范圍從0到無窮大。這意味著它的輸出可能會變得非常大，可能存在梯度爆炸問題。它還有個問題是左側完全平坦，可能導致梯度消失。

ReLU計算簡單，是神經網絡內層最常用的激活函數。

1.4 Leaky ReLU

將ReLU函數的前半段用0.01x代替。

1.5 softmax

e-x / Sum(e-x)

輸出范圍介于0和1之間。

Softmax將輸入歸一化為概率分布。它將輸入壓縮為0到1范圍，就像Sigmoid。

它通常在多分類場景中的輸出層，Softmax確保每個類的概率之和為1。

實際上，神經網絡是一系列函數的組合，有一些是線性的，有一些是非線性的，它們共同組成一個復雜的函數，將輸入數據連接到我們需要的輸出。

1.6?Gelu

2. 歸一化 normalization

2.1 Layer normalization

3. 損失函數

3.1?sigmoid函數

3.2 KL divergence loss

3.3 reconstruction loss

4. 評價指標

4.1 BLUE 和 ROUGE/ru??/

BLUE和ROUGE是機器翻譯的打分指標metrics

• BLUE，Bilingual Evaluation Understudy

• ROUGE, Recall-oriented Understudy for Gisting Evaluation

參考

[1] Congying Xia.?CG-BERT: Conditional Text Generation with BERT for Generalized?Few-shot Intent Detection.?arXiv:2004.01881v1 [cs.CL] 4 Apr 2020

總結

以上是生活随笔為你收集整理的深度学习数学基础(三): 激活函数、正则化函数、损失函数、评价指标的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。