本文主要講了什么是擠壓型函數(shù)以及擠壓型函數(shù)的作用，以及l(fā)ogistic函數(shù)

?

目錄

第一步：這一類函數(shù)的特點(diǎn)

第二步：logistic函數(shù)

Logistic函數(shù)的優(yōu)缺點(diǎn)

---

第一步：這一類函數(shù)的特點(diǎn)

---

當(dāng)輸入值域的絕對(duì)值較大的時(shí)候，其輸出在兩端是飽和的，都具有S形的函數(shù)曲線以及壓縮輸入值域的作用，所以叫擠壓型激活函數(shù)，又可以叫飽和型激活函數(shù)。

通常用Sigmoid 來表示，原意是S型的曲線，在數(shù)學(xué)中是指一類具有壓縮作用的S型的函數(shù)，在神經(jīng)網(wǎng)絡(luò)中，有兩個(gè)常用的 Sigmoid 函數(shù)，一個(gè)是 Logistic 函數(shù)，另一個(gè)是Tanh 函數(shù)。

本系列中的約定

Sigmoid ：指????????對(duì)數(shù)幾率函數(shù)????????用于激活函數(shù)時(shí)的稱呼；

Logistic ：指????????對(duì)數(shù)幾率函數(shù)????????用于二分類函數(shù)時(shí)的稱呼；

Tanh ：指????????雙曲正切函數(shù)????????用于激活函數(shù)時(shí)的稱呼。

在二分類任務(wù)中最后一層使用的對(duì)率函數(shù)與在神經(jīng)網(wǎng)絡(luò)層與層之間連接的Sigmoid激活函數(shù)，是同樣的形式。所以它既是激活函數(shù)，又是分類函數(shù)，是個(gè)特例。

第二步：logistic函數(shù)

---

?

定義域和值域:

輸入定義域：(-∞,∞)；

函數(shù)輸出域：(0,1)；

導(dǎo)函數(shù)輸出域：（0，0.25）

Logistic函數(shù)的優(yōu)缺點(diǎn)

---

優(yōu)點(diǎn)

從函數(shù)圖像來看， Sigmoid 函數(shù)的作用是將輸入壓縮到 (0, 1) 這個(gè)區(qū)間范圍內(nèi)，這種輸出在(0, 1) 間的函數(shù)可以用來模擬一些概率分布的情況，還是一個(gè)連續(xù)函數(shù)，導(dǎo)數(shù)簡(jiǎn)單易求。

從數(shù)學(xué)上來看， Sigmoid 函數(shù)對(duì)中央?yún)^(qū)的信號(hào)增益較大，對(duì)兩側(cè)區(qū)的信號(hào)增益小，在信號(hào)的特征空間映射上，有很好的效果。

從神經(jīng)科學(xué)上來看，中央?yún)^(qū)酷似神經(jīng)元的興奮態(tài)，兩側(cè)區(qū)酷似神經(jīng)元的抑制態(tài)，因而在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方面，可以將重點(diǎn)特征推向中央?yún)^(qū)， 將非重點(diǎn)特征推向兩側(cè)區(qū)。

缺點(diǎn)

指數(shù)計(jì)算代價(jià)大。

反向傳播時(shí)梯度消失。

總結(jié)

以上是生活随笔為你收集整理的logistic挤压型激活函数（机器学习）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。