其實(shí)我是在：

＜Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift＞看到這兩個(gè)詞語(yǔ)的

轉(zhuǎn)載內(nèi)容如下：

?

在論文《 ImageNet Classification with Deep Convolutional Neural Networks》中描述激活函數(shù)時(shí)，用了飽和非線性函數(shù)和非飽和非線性函數(shù)的區(qū)別。這里在這里描述其差別。

直觀理解
飽和激活函數(shù)會(huì)壓縮輸入值。

定義

舉例
對(duì)于Rectified Linear Unit (ReLU)激活函數(shù)f(x) = max(0, x)，當(dāng)x趨于正無(wú)窮則f(x)也趨于正無(wú)窮。所以該函數(shù)是非飽和的。

sigmoid函數(shù)的范圍是[0, 1]所以是飽和的。

tanh函數(shù)也是飽和的，因?yàn)槠淙≈捣秶鸀閇-1,1]。

本文是下面鏈接的翻譯：英文原文

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的饱和非线性（saturating nonlinearities）和非饱和非线性（non-saturating nonlinearities）的区别(转载)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。