惩罚、补偿、正则化、约束的联系和区别
最近看幾篇文章,文章上面在寫反演目標(biāo)函數(shù)的時(shí)候,有些是寫的約束,有些是說補(bǔ)償,有些又是正則化。說實(shí)話,之前是沒怎么區(qū)分這幾個東西的,感覺都是一樣的,后來才真正的注意到這個事情。下面是來自百度百科的解釋:
其實(shí)所有的懲罰、補(bǔ)償還是正則化都是約束方法。如上所示,約束就是把值給限定在一定的范圍內(nèi),在反演過程中,如果加在目標(biāo)函數(shù)中的話,就會寫成最下面的函數(shù)形式,這就是平常我們所說的加入懲罰、補(bǔ)償、正則化的常規(guī)公式,只是針對所實(shí)現(xiàn)的目標(biāo)不同,才分出了懲罰、補(bǔ)償和正則化這三種形式。所謂懲罰就是讓目標(biāo)函數(shù)減小的行為,補(bǔ)償呢就是對目標(biāo)函數(shù)或者反演的參數(shù)所做出的補(bǔ)償行為,正則化的提出主要是為了解的穩(wěn)定性,與上述兩種有明顯的區(qū)別。約束呢是個名詞,而后面三種是主要的行為方法。另外還有一個是預(yù)條件,根據(jù)現(xiàn)有知識對反演參數(shù)做出的處理,與上面三種又是很明顯的區(qū)別,預(yù)條件是直接作用于反演參數(shù)上的,而上面另外三種是作用于目標(biāo)函數(shù),然后間接作用于參數(shù)中。
只是我個人理解,如果有錯誤或問題,請?zhí)岢鰧氋F意見以方便修改,以免誤導(dǎo)他人。。。
參考文獻(xiàn):
https://baike.baidu.com/item/懲罰函數(shù)/3851238?fr=aladdin
https://www.cnblogs.com/pinking/p/9310728.html
總結(jié)
以上是生活随笔為你收集整理的惩罚、补偿、正则化、约束的联系和区别的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux 网络块存储,网络存储集群
- 下一篇: 从理论角度理解L1、L2正则化