正規(guī)方程法是利用矩陣求解的

公式為θ=(X^TX)^-1X^Ty

Octave:pinv(x'*x)*x'*y

正規(guī)方程法不需要特征縮放

設(shè)計(jì)矩陣

有m個(gè)樣本(x^(1),y^(1)),.....,(x^(m),y^(m));n個(gè)特征

x^（i） 的維度是n+1，向量里是n+1個(gè)的特征向量，X是m個(gè)x⁽ⁱ⁾ 的轉(zhuǎn)置矩陣

對(duì)比一下正規(guī)方程法與梯度下降的優(yōu)缺點(diǎn)

?

梯度下降	正規(guī)方程
優(yōu)：當(dāng)特征數(shù)量很多時(shí) 也能很快的擬合好	優(yōu)：不需要學(xué)習(xí)率α
缺：需要學(xué)習(xí)率α 為了找到合適的α 需要運(yùn)行很多次	缺：如果特征n的的數(shù)量很大 x的維度也會(huì)很大，需要很多 時(shí)間來(lái)計(jì)算(XTX）-1

?

當(dāng)X^TX不可逆時(shí)，我們首先可以查看所有的特征，看是否有特征線性相關(guān)，如果有，二者刪齊一；然后看是否有太多的特征，可以選擇一些不影響的特征刪除

轉(zhuǎn)載于:https://www.cnblogs.com/fromzore/p/10027571.html

總結(jié)

以上是生活随笔為你收集整理的正规方程法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。