沒有系統(tǒng)學過數(shù)學優(yōu)化，但是機器學習中又常用到這些工具和技巧，機器學習中最常見的優(yōu)化當屬凸優(yōu)化了，這些可以參考Ng的教學資料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，從中我們可以大致了解到一些凸優(yōu)化的概念，比如凸集，凸函數(shù)，凸優(yōu)化問題，線性規(guī)劃，二次規(guī)劃，二次約束二次規(guī)劃，半正定規(guī)劃等，從而對凸優(yōu)化問題有個初步的認識。以下是幾個重要相關概念的筆記。

?

　　凸集的定義為：

　　

　　其幾何意義表示為：如果集合C中任意2個元素連線上的點也在集合C中，則C為凸集。其示意圖如下所示：

　　

　　常見的凸集有：

　　n維實數(shù)空間；一些范數(shù)約束形式的集合；仿射子空間；凸集的交集；n維半正定矩陣集；這些都可以通過凸集的定義去證明。

?

　　凸函數(shù)的定義為：

　　

　　其幾何意義表示為函數(shù)任意兩點連線上的值大于對應自變量處的函數(shù)值，示意圖如下：

　　

　　凸函數(shù)的一階充要條件為：

　　

　　其中要求f一階可微。

　　二階充要條件為：

　　

　　其中要求f二階可微，表示二階導數(shù)需大于0才是凸函數(shù)。

? ???按照上面的兩個定義，如果f(x)=x^2肯定是凸函數(shù)，而g(x) = -x^2是非凸函數(shù)。也就是說開口向下的函數(shù)是非凸函數(shù)，但是對于這種情況可以通過添加負號變成凸函數(shù)，從而求解。

?

?

?　　常見的凸函數(shù)有：指數(shù)函數(shù)族；非負對數(shù)函數(shù)；仿射函數(shù)；二次函數(shù)；常見的范數(shù)函數(shù)；凸函數(shù)非負加權的和等。這些可以采用上面2個充要條件或者定義去證明。

?

　　凸優(yōu)化問題（OPT）的定義為：

　　

　　即要求目標函數(shù)是凸函數(shù)，變量所屬集合是凸集合的優(yōu)化問題。或者目標函數(shù)是凸函數(shù)，變量的約束函數(shù)是凸函數(shù)（不等式約束時），或者是仿射函數(shù)（等式約束時）。

　　對于凸優(yōu)化問題來說，局部最優(yōu)解就是全局最優(yōu)解。

　　常見的凸優(yōu)化問題包括：

　　線性規(guī)劃（LP）：該問題是優(yōu)化下面的式子：

?　　

　　其中那個不常見的奇怪符號表示按元素小于等于，后面出現(xiàn)類似符號可以類似理解。

　　二次規(guī)劃（QP）：該問題是優(yōu)化下面的式子：

?　　

　　二次約束的二次規(guī)劃（QCQP）：該問題是優(yōu)化下面的式子：

?　　

　　半正定規(guī)劃（SDP）：該問題是優(yōu)化下面的式子：

　　

　　按照文章說SDP在機器學習領域應用很廣，最近很流行，不過我好像沒太接觸到過。

?

　　參考資料：

? ? ?http://cs229.stanford.edu/section/cs229-cvxopt.pdf

總結

以上是生活随笔為你收集整理的凸优化函数的一些概念（转）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。