? ? 吉譜斯現象Gibbs（又叫吉譜斯效應）： 用有限項傅里葉級數表示有間斷點的信號時，在間斷點附近不可避免的會出現振蕩和超量。超量的幅度不會隨所取項數的增加而減小。只是隨著項數的增多，振蕩頻率變高，并向間斷點處壓縮，從而使它所占有的能量減少。當選取項數趨于無窮時，超量趨于一個常數，約占9%，這種現象稱為吉普斯現象。
正則化的理解：
? ? 正則化就是對最小化經驗誤差函數上加約束，這樣的約束可以解釋為先驗知識(正則化參數等價于對參數引入先驗分布)。
約束有引導作用，在優化誤差函數的時候傾向于選擇滿足約束的梯度減少的方向，使最終的解傾向于符合先驗知識(如一般的l-norm先驗，表示原問題更可能是比較簡單的，這樣的優化傾向于產生參數值量級小的解，一般對應于稀疏參數的平滑解)。
? ? 同時正則化，解決了逆問題的不適定性，產生的解是存在，唯一同時也依賴于數據的，噪聲對不適定的影響就弱，解就不會過擬合，而且如果先驗(正則化)合適，則解就傾向于是符合真解(更不會過擬合了)，即使訓練集中彼此間不相關的樣本數很少。
? ?為什么我們要得到稀疏性的特征表示呢？當然是為了防止過擬合，提高泛化能力，更好地解釋模型....其實，從生物學的角度，人腦中的大量神經元，當受到外界刺激（圖像或者聲音）時，只有少量的神經元被激活，大部分神經元處于抑制狀態。
正則化項可以是模型參數向量的范數。不同的正則化項對參數w的約束不同，取得的效果也不同，常見的正則化項：零范數、一范數、二范數、跡范數、Frobenius范數和核范數等等。
? ? L2范數可以防止過擬合，提升模型的泛化能力；從優化或者數值計算的角度來說，L2范數有助于處理 condition number不好的情況下矩陣求逆很困難的問題。
? ? L1范數是指向量中各個元素絕對值之和，又叫“稀疏規則算子”（Lasso regularization）。

轉載于:https://www.cnblogs.com/ZhangWK/p/6870124.html

總結

以上是生活随笔為你收集整理的正则化笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。