文章目錄

• 目錄
• • 1、了解凸集和仿射集的基本概念。
  • 2、知道幾何體的向量表達(dá)。
  • 3、了解超平面和半空間的概念。
  • 4、了解分割超平面和支撐超平面的含義。
  • 5、知道jensen不等式。
  • 6、掌握知識：凸函數(shù)。
  • 7、掌握凸優(yōu)化

目錄

1、了解凸集和仿射集的基本概念。

凸集：在凸集內(nèi)部的兩個點(diǎn)之間的線段仍在圖形內(nèi)，則稱這個圖形為凸集。
仿射集：通過集合中任意兩個不同點(diǎn)的直線仍然在這個集合內(nèi)則稱為這個集合的仿射集。
仿射集說的是直線，凸集說的是線段。

2、知道幾何體的向量表達(dá)。

兩個θ+（1-θ）=1代表的是兩個點(diǎn)之間的關(guān)系是直線關(guān)系，如果不等于1則代表是其他的非線性的關(guān)系。

3、了解超平面和半空間的概念。

超平面：如下圖所示，將線性方程轉(zhuǎn)化為矩陣的形式，然后（2,3）可以用向量a（已知點(diǎn)的向量）表示，（x,y）可以用向量x來表示，常數(shù)可以用b來表示。即若在2維空間中表示則超平面是一條直線，若a為N維向量（即在N維空間中表示），則式子可表示為一個N維空間中的超平面方程。
半空間：如下圖所示的2x+3y=1這條直線的一半即代表半空間，表示形式如下圖所示


2維空間中超平面是一條直線，3維中是一個平面。。。半空間就是超平面的一半的空間稱為半空間。

4、了解分割超平面和支撐超平面的含義。

分隔超平面：將兩個超平面分割的平面稱為分割超平面。即兩個凸集內(nèi)部的兩個點(diǎn)d和c的連線的最短距離的垂直平分線即為這兩個凸集的分割超平面。

支撐超平面：對于一個圖形，通過它的任意邊上畫切線，如果圖形在切線的一邊則證明該圖形是凸集組成的圖形。若不是則證明該圖形非凸集。可以把這個切線稱為支撐超平面。
如果一個集合任何一個點(diǎn)都存在支撐超平面則這個集合是凸集。

5、知道jensen不等式。

jenson不等式可以轉(zhuǎn)化為f(E(x))<=E(f(x))，無論x是連續(xù)的或者是離散的。

6、掌握知識：凸函數(shù)。

數(shù)學(xué)含義：凸函數(shù)定義式可以理解為一個函數(shù)，它的割線總是在函數(shù)的上方，則可稱該函數(shù)是凸函數(shù)，如下圖所示。

7、掌握凸優(yōu)化

凸優(yōu)化：基本形式如下所示，即任何問題都可以轉(zhuǎn)化為求f0(x)的最小值，而對于f0(x)存在兩個限制條件 Fi(x)（代表的是若干個不等式約束條件）與Hj(x)（代表的是若干個等式約束條件）。

對于最終的最優(yōu)化值我們不關(guān)心，而是關(guān)心對應(yīng)的x的值
最優(yōu)值的公式數(shù)學(xué)含義：在什么樣的條件下求對應(yīng)的F0（x）的下確界

由對應(yīng)的限制條件可得lagrange函數(shù)中的Hj(x)為0。
對偶函數(shù)通過梯度來求極大值。

將Lagrange函數(shù)轉(zhuǎn)化為求它的對偶函數(shù)，而Lagrange對偶函數(shù)為凹函數(shù)，則凹函數(shù)的最大值也就對應(yīng)原函數(shù)的最小值。

我們求得是最小值。通過下面的推導(dǎo)也就轉(zhuǎn)化為求對偶函數(shù)。
由于Hj(x)=0所以原式轉(zhuǎn)化為g(λ)。
PS：下圖中的h(x)改為f(x)，h(x)=0了，已經(jīng)被舍掉了。

**整體的過程：**優(yōu)化問題，優(yōu)化的形式是固定，即問題可以轉(zhuǎn)化為一個表達(dá)式F（x）外加兩個限制條件的表達(dá)式。即任何問題都可以轉(zhuǎn)化為求f0(x)的最小值，而對于f0(x)存在兩個限制條件 Fi(x)與Hj(x)。
將凸優(yōu)化問題轉(zhuǎn)化為Lagrange函數(shù)，再將Lagrange函數(shù)轉(zhuǎn)化為求它的對偶函數(shù)，而Lagrange對偶函數(shù)為凹函數(shù)，則凹函數(shù)的最大值也就對應(yīng)原函數(shù)的最小值，即可得凸優(yōu)化問題的解。

總結(jié)

以上是生活随笔為你收集整理的机器学习之凸优化原理推导及相关知识总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。