最近谷歌大腦公布了一個新的激活函數，叫做? Swish 激活函數。這個函數非常的有趣，很多人都把它應用到一些小的神經網絡和大的神經網絡中去測試它的性能。所以，我也打算去 kaggle 上面測試一些這個函數的性能如何。

Swish 激活函數的數學公式非常的簡單，即 f(x) = x * sigmoid(x) 。根據谷歌大腦的論文，該激活函數的性能比 ReLU 激活函數的性能要好很多。

目前使用最廣泛的激活函數是 ReLU。

? ? 本論文中，我們提出了一種新型激活函數 Swish，Swish的數學表達為：f(x) = x * sigmoid(x) 。

? ? 其中σ(x) = 1/(1 + exp(?x)) 是 Sigmoid 函數。 Swish 函數的幾何表示如下：

? ? 和 ReLU 一樣，Swish 無上界有下界。? ? 與 ReLU 不同的是，Swish 是平滑且非單調的函數。

? ? Swish 的導數是

? ? Swish 的一階導和二階導如圖 2 所示。輸入低于 1.25 時，導數小于 1。

? ? Swish 的設計受到 LSTM 和 highway network 中使用 sigmoid 函數進行門控的啟發。我們使用同樣的值進行門控來簡化門控機制，稱為自門控（self-gating）。自門控的優勢是它僅需要一個簡單的標量輸入，而正常的門控需要多個標量輸入。該特性令使用自門控的激活函數如 Swish 能夠輕松替換以單個標量作為輸入的激活函數（如 ReLU），無需改變參數的隱藏容量或數量。

? ? 在 TensorFlow 等大多數深度學習庫中只需更改一行代碼即可實現 Swish 函數。需要注意的是，如果使用 BN，應設置縮放參數（scale parameter）。由于 ReLU 函數是分段線性函數，一些高級別的庫默認關閉縮放參數，但是該設置不適用于 Swish。

? ? 一句話：Swish 是一種新型激活函數，公式為： f(x) = x · sigmoid(x)。Swish 具備無上界有下界、平滑、非單調的特性。

總結

以上是生活随笔為你收集整理的谷歌大脑自门控激活函数Swish的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。