线性代数笔记:逆矩阵及伪逆矩阵,最小二乘估计,最小范数估计
逆矩陣及偽逆矩陣,最小二乘估計,最小范數估計
- 逆矩陣的概念
- 我們為什么需要逆矩陣?
- 偽逆矩陣和最小二乘估計
- 正則化求偽逆矩陣
逆矩陣的概念
矩陣A的逆矩陣(matrix inversion)記作A?1A^{?1}A?1,其定義的矩陣滿足如下條件:
A?1A=InA^{?1}A=I_nA?1A=In?
我們為什么需要逆矩陣?
我們為什么需要逆矩陣?(從加減乘除的運算角度來解釋)
因為矩陣沒有被除的概念,矩陣的逆正好是被我們用來解決除法的問題。
例如我們知道矩陣A和矩陣B,并且想要找到矩陣X。
XA=BXA = BXA=B
那最好的方法就是直接除以A(得到X = B / A),但事實上我們不能直接除以矩陣A。
但是我們卻可以在公式兩邊都乘以A?1A^{-1}A?1
用矩陣多項式來舉例:
樣本集X和標簽Y,當樣本集大小剛好等于X的維度時,可以直接用X的逆矩陣求出權重向量a。
偽逆矩陣和最小二乘估計
而在一般情況下,樣本集大小N都會遠大于維度n,那么N≠nN \neq nN??=n時,應該怎么求解a向量,這里引出最小二乘估計的概念:
min∥xa?Y∥2=Jmin\left \| xa-Y \right \|^2=Jmin∥xa?Y∥2=J
對a求最小值:
?J?a=xT(xa?Y)=0\frac{\partial J}{\partial a} = x^T(xa-Y)=0 \\ ?a?J?=xT(xa?Y)=0
xTxa=xTYx^Txa=x^TYxTxa=xTY 此時xTxx^TxxTx是否可逆?
a=(xTx)?1xTYa=(x^Tx)^{-1}x^TYa=(xTx)?1xTY 被稱為a的偽逆矩陣
正則化求偽逆矩陣
當N<nN<nN<n,xTxx^TxxTx不可逆時,需通過正則化求偽逆
因為∣xTx+λI∣>0\begin{vmatrix}x^Tx+\lambda I\end{vmatrix}>0∣∣?xTx+λI?∣∣?>0恒成立,故一定可逆
此時λ∥a∥2\lambda\left \| a \right \|^2λ∥a∥2 求值的最小化及最小范數估計
總結
以上是生活随笔為你收集整理的线性代数笔记:逆矩阵及伪逆矩阵,最小二乘估计,最小范数估计的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: hibernate中PO的构造器顺序
- 下一篇: FTP主动跟被动模式区别