回歸筆記

• 回歸
• • 使用場景
  • 預測步驟
  • • 第一步——確定模型的集合
    • 第二步——模型好壞的判斷
    • 第三步——梯度下降
  • 改進模型

回歸

使用場景

股票預測：
輸入：歷史股票價格等
輸出：明日或以后股票的價格或平均值

自動駕駛：
輸入：場景信息、信號
輸出：方向盤角度

推薦系統：
輸入：使用者信息、商品信息
輸出：購買可能性

課內使用案例：
預測寶可夢進化后的戰斗力（CP）
輸入：進化前的CP，種類，HP，重量，高度

預測步驟

第一步——確定模型的集合

線性模型：$$y=b+\Sigma w_i{x}_i$$
其中$w_i$是權重，$x_i$是特征，$b$是偏差。

第二步——模型好壞的判斷

$x^i$表示第i個樣本的特征，${\hat{y}}^i$表示第i個樣本的真值。
定義Loss Function，輸入一個模型，輸出模型的好壞程度。
$$L(f)=L(w,b)={\Sigma }_{n=1}^{10}({\hat{y}}^n?(b+w?x_{cp}^n){)}^2$$
$L(f)$越小，表示模型誤差越小，模型越好。
于是找到最好的模型：
$$f^{?}=argmi{n}_{f}L(f)$$,
$$w^{?},b^{?}=argmi{n}_{w,b}L(w,b)$$

第三步——梯度下降

先考慮loss function的一個參數w：

• 隨機選擇一個初值$w^0$
• 計算 $\frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^0}$，更新參數$w^1=w^0?\eta \frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^0}$。其中$\eta$為學習率，控制參數更新的快慢。
• 重復上一步驟，直至不再更新或者更新的差值小于某個值。

如何考慮兩個參數：

• 隨機選擇一個初值$w^0,b^0$
• 計算 $\frac{?L}{?w}{|}_{w=w^0,b=b^0}$， $\frac{?L}{?b}{|}_{w=w^0,b=b^0}$，更新參數$w^1=w^0?\eta \frac{?L}{?w}{|}_{w=w^0,b=b^0}$，$b^1=b^0?\eta \frac{?L}{?b}{|}_{w=w^0,b=b^0}$
• 重復上一步驟

擔心的地方：有可能陷入局部極小值。
但對于線性回歸來說，loss function是一個凸函數，只有一個極值點也是最小點。

之后利用測試樣本來帶入模型，查看測試誤差來檢測模型的準確程度。

改進模型

增加模型特征數
可以選擇另一種更為復雜的模型，例如在原模型中引入特征的二次項或者三次項等等。但更復雜的模型不代表更精確，參數越多，模型在測試集上的表現可能越差，即過擬合。所以要考慮模型的泛化能力（或者有些場景需要合理解釋模型的參數）。

增加訓練集樣本
查看模型是否還準確。若不準確，則要考慮修改模型（重新計算參數；或者可以考慮增加特征數量，或者修改特征描述方式）

正則化
在loss function中增加一項：$\lambda \Sigma (w_i{)}^2$，對越不接近0的參數進行懲罰（可以減少噪聲的影響，使曲線變得平滑，但不希望過于平滑）。
在做正則化時可以不考慮$b$值，因為$b$只影響上下平移，不影響平滑程度。

總結

以上是生活随笔為你收集整理的李宏毅机器学习笔记——回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。