1 定義

1.1 硬閾值

硬閾值的定義如下：

????????

相當(dāng)于

????????

1.2 軟閾值

軟閾值的定義如下：

????????

相當(dāng)于

????????
1.3 二者對比（可視化解釋）

?這是一張很經(jīng)典地表述軟閾值和硬閾值區(qū)別的圖，其中軟閾值是藍(lán)色的線，他沒有突變；硬閾值是紅色的虛線，在±a的時(shí)候會有一個(gè)突變

2 二者的作用

2.1 硬閾值

硬閾值可以解決如下優(yōu)化問題：

其中

表示是向量X的零范數(shù)（向量X中非零元素的個(gè)數(shù)）

?根據(jù)范數(shù)的定義，我們可以把上面的優(yōu)化問題逐項(xiàng)拆開：

這里表示當(dāng)前元素x是否非零

?于是我們就可以將求解上述的一個(gè)優(yōu)化問題轉(zhuǎn)化為求解N個(gè)獨(dú)立的優(yōu)化問題

進(jìn)一步，我們可以寫成：

?對于x≠0的部分，我們知道f(x)的最小值在x=b的時(shí)候取得，最小值為λ。

對于x=0的部分，我們就看和λ哪個(gè)更小，小的將成為f(x)的最小值

? ? ? ? 如果，那么最小值在x=b的時(shí)候取到；反之，那么最小值在x=0處取到，

也即

?

?所以我們不難發(fā)現(xiàn)，這樣的一個(gè)優(yōu)化函數(shù)和硬閾值一一對應(yīng)

?2.2 軟閾值

和硬閾值同理，軟閾值也和一種形式的優(yōu)化問題一一對應(yīng)，唯一的區(qū)別是||X||在硬閾值中是零范數(shù)，在軟閾值中是一范數(shù)

同樣也可以把優(yōu)化問題拆分開來?

同樣也可以解N個(gè)獨(dú)立的優(yōu)化函數(shù)

對f(x)求導(dǎo)，有：

?

?零倒數(shù)為零，有：

?（1） x小于0的時(shí)候，最小值在x取的時(shí)候取到

如果小于0（即），那么的確argmin f(x)=

如果大于0（即），那么此時(shí)argmin f(x)=0

（2）x大于0的時(shí)候，最小值在x取的時(shí)候取到

如果大于0（即），那么的確argmin f(x)=

如果小于0（即），那么此時(shí)argmin f(x)=0

總結(jié)一下，有：

參考資料

軟閾值(Soft Thresholding)函數(shù)解讀_彬彬有禮的專欄-CSDN博客_軟閾值

硬閾值(Hard Thresholding)函數(shù)解讀_彬彬有禮的專欄-CSDN博客_閾值函數(shù)

總結(jié)

以上是生活随笔為你收集整理的硬阈值 软阈值的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。