dw hw1
線性回歸
線性回歸問題，不專業(yè)的說，就是在找一條滿足一定條件的直線，這條線大概長這樣
a1x1+a2x2+...+anxn=ya_1 x_1+a_2 x_2 +...+a_nx_n=y a1?x1?+a2?x2?+...+an?xn?=y
我們要做的就是去求參數(shù)a1,a2,...,ana_1,a_2,...,an a1?,a2?,...,an
how?
隨機(jī)初始化的參數(shù)，然后把x1,x2,...,xnx_1,x_2,...,x_n x1?,x2?,...,xn?代進(jìn)去
選擇均方誤差損失函數(shù)
l(i)(a1,a2..,an)=12(y2^?y2)2l^{(i)}(a_1,a_2..,a_n)=\frac{1}{2}(\hat{y^2}-y^2)^2 l(i)(a1?,a2?..,an?)=21?(y2^??y2)2
使用梯度下降法求解
梯度下降就是兩步走
1.求（偏）導(dǎo)
?la1=?l?y^?y^?a1=x1(y^?y),?la2=x2(y^?y),...\frac{\partial{l}}{a_1}=\frac{\partial{l}}{\hat{\partial{y}}}\frac{\partial{\hat{y}}}{\partial{a_1}}= x_1(\hat{y}-y),\frac{\partial{l}}{a_2}=x_2(\hat{y}-y),... a1??l?=?y^??l??a1??y^??=x1?(y^??y),a2??l?=x2?(y^??y),...
2.更新參數(shù)
a1=a1?r?la1=a1?x1y^)a_1=a_1-r\frac{\partial{l}}{a_1}=a_1-x_1\hat{y}) a1?=a1??ra1??l?=a1??x1?y^?)
其中，r是learning rate
learning rate是為了防止更新過猛…,一般是一個(gè)很小的值
總結(jié)
- 上一篇： 前端学习（2634）：修改webstro
- 下一篇： 模拟电子线路设计 实验报告