這套筆記是跟著七月算法四月機(jī)器學(xué)習(xí)班的學(xué)習(xí)而記錄的，主要記一下我再學(xué)習(xí)機(jī)器學(xué)習(xí)的時候一些概念比較模糊的地方，具體課程參考七月算法官網(wǎng)：

http://www.julyedu.com/?

矩陣分析與應(yīng)用

主要介紹的內(nèi)容有：如圖

首先，來看兩個示例：

概念1. 行視圖--凸優(yōu)化中的超平面

對于式（1），寫成方程組的形式就是：

在行視圖中，它的解表示為兩條直線的交點(diǎn)；

對于式（2）,其行視圖表示為：

每一個方程表示三維空間中的一個平面，則方程的解為三個平面的交點(diǎn)。

概念2：列視圖-- 矩陣列的線性組合

對于式（1）,其列視圖表示為

每列參數(shù)表示一個向量，x,y即為滿足等式右邊的條件下，兩個向量的伸縮倍數(shù)，如圖：

則(2)式可以表示為：

線性相關(guān)的線性無關(guān)：

給一個比較直觀的例子

從行視圖和列視圖看線性相關(guān)：

如式（1），對于行視圖，若線性性相關(guān)，則兩條直線平行。對于列視圖，若線性相關(guān)，則兩個向量共線。

從行視圖和列視圖看線性無關(guān)：

如式（1）,行視圖不平行，列視圖不共線。

概念：

簡單來說，就是在一組向量集中，其中一個向量能被其他向量通過線性組合表示出來。這個向量實(shí)際上是多余的。

概念3： 子空間

所有列的線性組合構(gòu)成了一個span，也就是這組向量的子空間，

基可以理解為子空間的最大無關(guān)組

四個基本的子空間：

列空間：

舉例來說：

矩陣A的所有列構(gòu)成的子空間的所有線性組合張成一個如上圖所示的平面。

子空間包含0點(diǎn)（向量），因?yàn)閤1,x2可以為0

零空間：這里注意，零空間是列的子空間

n = 4;

Ax = 0的解是S1,S2任意的線性組合。

在上例中，列的線性組合構(gòu)成了R2的子空間，N(A)構(gòu)成了R4的子空間

行空間：

左零空間：

四種空間之間的關(guān)系：

解釋下這個圖，矩陣A的規(guī)模為mxn, m,為矩陣的行，n為列，r為矩陣的秩，因此，

右上圖：為A的列空間，它是Rm的一個子空間，因?yàn)槊苛械拈L度為m,其維數(shù)為最大的線性無關(guān)的向量的個數(shù)，即r, 所有列的線性組合構(gòu)成列的子空間

右下圖：為A的左零空間, 左零空間也是Rm的子空間，它是和A的列的子空間相垂直的向量構(gòu)成的子空間。與列空間構(gòu)成正交補(bǔ)（交點(diǎn)為0點(diǎn)且只有0點(diǎn)）。

左下圖：為A的零空間，它是Rn的子空間

左上圖：A的行空間，是與A的零空間垂直的空間且行空間的向量與A的零空間構(gòu)成正交補(bǔ)。

A的列空間與行空間的秩相同，即，矩陣的行秩等于列秩。

注意：

和張成的空間是相同的，在右邊都對應(yīng)到b上，右上邊的框就是A張成的子空間（從列視圖的角度理解）。左零空間與b所在的空間垂直，交點(diǎn)處為

利用子空間重新看待線性方程組的解：

Ax = A(p + v) ;? Ap = b, Av = 0 , v是N(A)中的向量

特征值與特征方程：

特征分解的性質(zhì)：

對稱矩陣的特征分解：

二次型：

特征值大于0,為正定矩陣

特征分解的應(yīng)用--PCA

SVD分解:特征分解的廣義化

SVD和子空間的關(guān)系

U1為A的列空間的正交基

低秩矩陣近似(降維)

低秩矩陣近似應(yīng)用—圖像壓縮

參考資料：

七月算法：機(jī)器學(xué)習(xí)四月班：http://www.julyedu.com/

圖片來自于課程PPT

總結(jié)

以上是生活随笔為你收集整理的七月算法机器学习笔记2--机器学习中的数学之矩阵分析与应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。