1 定義

1.1 硬閾值

硬閾值的定義如下：

????????

相當于

????????

1.2 軟閾值

軟閾值的定義如下：

????????

相當于

????????
1.3 二者對比（可視化解釋）

?這是一張很經典地表述軟閾值和硬閾值區別的圖，其中軟閾值是藍色的線，他沒有突變；硬閾值是紅色的虛線，在±a的時候會有一個突變

2 二者的作用

2.1 硬閾值

硬閾值可以解決如下優化問題：

其中

表示是向量X的零范數（向量X中非零元素的個數）

?根據范數的定義，我們可以把上面的優化問題逐項拆開：

這里表示當前元素x是否非零

?于是我們就可以將求解上述的一個優化問題轉化為求解N個獨立的優化問題

進一步，我們可以寫成：

?對于x≠0的部分，我們知道f(x)的最小值在x=b的時候取得，最小值為λ。

對于x=0的部分，我們就看和λ哪個更小，小的將成為f(x)的最小值

? ? ? ? 如果，那么最小值在x=b的時候取到；反之，那么最小值在x=0處取到，

也即

?

?所以我們不難發現，這樣的一個優化函數和硬閾值一一對應

?2.2 軟閾值

和硬閾值同理，軟閾值也和一種形式的優化問題一一對應，唯一的區別是||X||在硬閾值中是零范數，在軟閾值中是一范數

同樣也可以把優化問題拆分開來?

同樣也可以解N個獨立的優化函數

對f(x)求導，有：

?

?零倒數為零，有：

?（1） x小于0的時候，最小值在x取的時候取到

如果小于0（即），那么的確argmin f(x)=

如果大于0（即），那么此時argmin f(x)=0

（2）x大于0的時候，最小值在x取的時候取到

如果大于0（即），那么的確argmin f(x)=

如果小于0（即），那么此時argmin f(x)=0

總結一下，有：

參考資料

軟閾值(Soft Thresholding)函數解讀_彬彬有禮的專欄-CSDN博客_軟閾值

硬閾值(Hard Thresholding)函數解讀_彬彬有禮的專欄-CSDN博客_閾值函數

總結

以上是生活随笔為你收集整理的硬阈值 软阈值的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。