ML之LS&OLS：LS&OLS算法的簡介、論文、算法的改進(最佳子集選擇OFSS法、前向逐步回歸FSR法)、代碼實現等詳細攻略

?

?

目錄

LS&OLS算法的簡介

LS&OLS算法的論文

LS&OLS算法的算法的改進(最佳子集選擇法、前向逐步回歸法)

LS&OLS算法的代碼實現

---

?

?

?

LS&OLS算法的簡介

? OLS是在大約200 年前(1806年)由高斯（Gauss）和法國數學家阿德里安- 馬里· 勒讓德（Legendre）提出的。

?

LS&OLS算法的論文

后期更新……

?

?

LS&OLS算法的算法的改進(最佳子集選擇法、前向逐步回歸法)

1、OFSS

(1)、OFSS最佳子集選擇法偽代碼實現

Initialize: Out_of_sample_error = NULLBreak X and Y into test and training sets for i in range(number of columns in X):for each subset of X having i+1 columns:fit ordinary least squares modelOut_of_sample_error.append(least error amoung subsets containing i+1 columns) Pick the subset corresponding to least overall error

2、FSR

? ?逐步回歸的基本思想是將變量逐個引入模型，每引入一個解釋變量后都要進行F檢驗，并對已經選入的解釋變量逐個進行t檢驗，當原來引入的解釋變量由于后面解釋變量的引入變得不再顯著時，則將其刪除。以確保每次引入新的變量之前回歸方程中只包含顯著性變量。這是一個反復的過程，直到既沒有顯著的解釋變量選入回歸方程，也沒有不顯著的解釋變量從回歸方程中剔除為止。以保證最后所得到的解釋變量集是最優的。

(1)、FSR前向逐步回歸法偽代碼實現

Initialize: ColumnList = NULLOut-of-sample-error = NULLBreak X and Y into test and training sets For number of column in X:For each trialColumn (column not in ColumnList):Build submatrix of X using ColumnList + trialColumnTrain OLS on submatrix and store RSS Error on test dataColumnList.append(trialColumn that minimizes RSS Error)Out-of-sample-error.append(minimum RSS Error)

?

LS&OLS算法的代碼實現

后期更新……

?

?

?

?

總結

以上是生活随笔為你收集整理的ML之LSOLS：LSOLS算法的简介、论文、算法的改进(最佳子集选择OFSS法、前向逐步回归FSR法)、代码实现等详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。