一、超定方程組##

超定方程組即為有效方程個數大于未知數個數的方程組。（這里只討論多元一次的情況）
超定方程組可以寫成矩陣的形式：
egin{equation}
egin{split}
Ax=b
end{split}
end{equation}
其中(A)為(m imes n)的矩陣，其與(b)組成的增廣矩陣([A|b])的秩大于(n)。(x)為(n)維列向量未知數。

二、超定方程組的最小二乘解##

超定方程組是無解的，但是我們可以求得其最小二乘解，就是將等式左右兩端乘上(A)的轉置。
egin{equation}
egin{split}
A^TAx=ATb
end{split}
end{equation}
該方程有增廣矩陣([A^TA|A^Tb])的秩等于(n)，即該方程的未知數的個數等于有效方程的個數，所以該方程有唯一解且為原方程的最小二乘解。
平時記住結論直接用就好

三、推導過程##

（記錄，大家不要看：其實小生也是只知道結論不知道結論是怎么來的，不過有一天看斯坦福大學的機器學習公開課的第二節，看到了推導過程。）

1.前置結論###

(trAB = trBA)
(trABC = trBCA = trCAB)
(
abla_AtrAB = B^T)
(trA = trA^T)
(tra = a)
6)(
abla_AtrABA^TC = CAB + C^TAB^T)
tr代表矩陣的跡，大寫字母為矩陣小寫字母表示實數，(
abla表示求導)。

2.公式推導###

作差
egin{equation}
egin{split}
Ax-b = left[ egin{array}{c}
a_1^Tx - b_1
vdots
a_m^T - b_m
end{array}
ight ]
end{split}
end{equation}

構建最小二乘
egin{equation}
egin{split}
frac{1}{2}(Ax-b)^T(Ax-b) = frac{1}{2}sum_{i=1}^m(a_iTx-b_i)^2
end{split}
end{equation}

對(x)求導
egin{equation}
egin{split}

abla_x frac{1}{2}(Ax-b)^T(Ax-b) =
abla_x tr(x^TATAx-x^TATb-b^TAx+bTb)
end{split}
end{equation}

利用前置結論2)4)5)
egin{equation}
egin{split}

abla_x frac{1}{2}(Ax-b)^T(Ax-b) =
abla_xtr[xx^TATA-
abla_xb^TAx-
abla_xbTAx]
end{split}
end{equation}

其中利用前置結論6)
注：大括號下的A為前置結論中的A，大括號上的A為矩陣A。

egin{equation}

abla_xxx^TATA =
abla_x cdot underbrace{x}_A cdot underbrace{I}_B
end{equation}

egin{equation}
cdot underbrace{x^T}_{AT} cdot underbrace{A^TA}_C
end{equation}

利用前置結論1)3)
egin{equation}
egin{split}

abla_xunderbrace{b^TA}_Bunderbrace{x}_A = A^Tb
end{split}
end{equation}

所以就有：
egin{equation}
egin{split}
frac{1}{2}(Ax-b)^T(Ax-b) = A^TAx - A^Tb = 0
end{split}
end{equation}

則有：
egin{equation}
A^TAx = A^Tb
end{equation}
egin{equation}
x=(A^TA){-1}A^Tb
end{equation}

總結

以上是生活随笔為你收集整理的超定方程组最优解（最小二乘解）推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。