回歸筆記

• 回歸
• • 使用場景
  • 預(yù)測步驟
  • • 第一步——確定模型的集合
    • 第二步——模型好壞的判斷
    • 第三步——梯度下降
  • 改進(jìn)模型

回歸

使用場景

股票預(yù)測：
輸入：歷史股票價格等
輸出：明日或以后股票的價格或平均值

自動駕駛：
輸入：場景信息、信號
輸出：方向盤角度

推薦系統(tǒng)：
輸入：使用者信息、商品信息
輸出：購買可能性

課內(nèi)使用案例：
預(yù)測寶可夢進(jìn)化后的戰(zhàn)斗力（CP）
輸入：進(jìn)化前的CP，種類，HP，重量，高度

預(yù)測步驟

第一步——確定模型的集合

線性模型：$$y=b+\Sigma w_i{x}_i$$
其中$w_i$是權(quán)重，$x_i$是特征，$b$是偏差。

第二步——模型好壞的判斷

$x^i$表示第i個樣本的特征，${\hat{y}}^i$表示第i個樣本的真值。
定義Loss Function，輸入一個模型，輸出模型的好壞程度。
$$L(f)=L(w,b)={\Sigma }_{n=1}^{10}({\hat{y}}^n?(b+w?x_{cp}^n){)}^2$$
$L(f)$越小，表示模型誤差越小，模型越好。
于是找到最好的模型：
$$f^{?}=argmi{n}_{f}L(f)$$,
$$w^{?},b^{?}=argmi{n}_{w,b}L(w,b)$$

第三步——梯度下降

先考慮loss function的一個參數(shù)w：

• 隨機(jī)選擇一個初值$w^0$
• 計(jì)算 $\frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^0}$，更新參數(shù)$w^1=w^0?\eta \frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^0}$。其中$\eta$為學(xué)習(xí)率，控制參數(shù)更新的快慢。
• 重復(fù)上一步驟，直至不再更新或者更新的差值小于某個值。

如何考慮兩個參數(shù)：

• 隨機(jī)選擇一個初值$w^0,b^0$
• 計(jì)算 $\frac{?L}{?w}{|}_{w=w^0,b=b^0}$， $\frac{?L}{?b}{|}_{w=w^0,b=b^0}$，更新參數(shù)$w^1=w^0?\eta \frac{?L}{?w}{|}_{w=w^0,b=b^0}$，$b^1=b^0?\eta \frac{?L}{?b}{|}_{w=w^0,b=b^0}$
• 重復(fù)上一步驟

擔(dān)心的地方：有可能陷入局部極小值。
但對于線性回歸來說，loss function是一個凸函數(shù)，只有一個極值點(diǎn)也是最小點(diǎn)。

之后利用測試樣本來帶入模型，查看測試誤差來檢測模型的準(zhǔn)確程度。

改進(jìn)模型

增加模型特征數(shù)
可以選擇另一種更為復(fù)雜的模型，例如在原模型中引入特征的二次項(xiàng)或者三次項(xiàng)等等。但更復(fù)雜的模型不代表更精確，參數(shù)越多，模型在測試集上的表現(xiàn)可能越差，即過擬合。所以要考慮模型的泛化能力（或者有些場景需要合理解釋模型的參數(shù)）。

增加訓(xùn)練集樣本
查看模型是否還準(zhǔn)確。若不準(zhǔn)確，則要考慮修改模型（重新計(jì)算參數(shù)；或者可以考慮增加特征數(shù)量，或者修改特征描述方式）

正則化
在loss function中增加一項(xiàng)：$\lambda \Sigma (w_i{)}^2$，對越不接近0的參數(shù)進(jìn)行懲罰（可以減少噪聲的影響，使曲線變得平滑，但不希望過于平滑）。
在做正則化時可以不考慮$b$值，因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$b$只影響上下平移，不影響平滑程度。

總結(jié)

以上是生活随笔為你收集整理的李宏毅机器学习笔记——回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。