逆矩陣及偽逆矩陣，最小二乘估計，最小范數估計

• • 逆矩陣的概念
  • 我們為什么需要逆矩陣？
  • 偽逆矩陣和最小二乘估計
  • 正則化求偽逆矩陣

逆矩陣的概念

矩陣A的逆矩陣（matrix inversion）記作$A^{?1}$，其定義的矩陣滿足如下條件：
$A^{?1}A=I_n$

我們為什么需要逆矩陣？

我們為什么需要逆矩陣？（從加減乘除的運算角度來解釋）
因為矩陣沒有被除的概念，矩陣的逆正好是被我們用來解決除法的問題。
例如我們知道矩陣A和矩陣B，并且想要找到矩陣X。
$XA=B$
那最好的方法就是直接除以A（得到X = B / A），但事實上我們不能直接除以矩陣A。
但是我們卻可以在公式兩邊都乘以$A^{?1}$

用矩陣多項式來舉例：
樣本集X和標簽Y，當樣本集大小剛好等于X的維度時，可以直接用X的逆矩陣求出權重向量a。

偽逆矩陣和最小二乘估計

而在一般情況下，樣本集大小N都會遠大于維度n，那么$N?=n$時，應該怎么求解a向量，這里引出最小二乘估計的概念：
$min{\Vert xa?Y\Vert }^2=J$
對a求最小值：
$$\frac{?J}{?a}=x^T(xa?Y)=0$$
$x^{T}xa=x^{T}Y$ 此時$x^{T}x$是否可逆？

$a=(x^{T}x{)}^{?1}{x}^{T}Y$ 被稱為a的偽逆矩陣

正則化求偽逆矩陣

當$N<n$，$x^{T}x$不可逆時，需通過正則化求偽逆
因為$\left|\begin{array}{c}{x}^{T}x+\lambda I\end{array}\right|>0$恒成立，故一定可逆
此時$\lambda {\Vert a\Vert }^2$ 求值的最小化及最小范數估計

總結

以上是生活随笔為你收集整理的线性代数笔记：逆矩阵及伪逆矩阵，最小二乘估计，最小范数估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。