目錄

缺失值處理

拉格朗日差值法的理論基礎

拉格朗日插值法代碼實現

其他數據預處理方法

---

缺失值處理

處理缺失值常用的辦法可分為三類：刪除記錄、數據插補、不處理。

其中常見的數據插補法有：

如果通過刪除小部分的數據就可以達到既定的目標，且不會影響結果的準確性，那么這無疑是最簡單有效的。但是，在不了解情況的時候還是不要這樣冒險比較好，因為刪除數據是所有老板最不愿意看見的，不但浪費了很大的資源，也丟棄了大量有可能隱藏在缺失值記錄中的信息。

這里我們主要說一說拉格朗日插值法，主要講這個方法，是因為大學數值分析課上，認為這個方法最好，哈哈，其他方法有興趣的同學也可以試一試。除了拉格朗日插值法，還有牛頓插值法、Hermite插值法、分段插值法和樣條插值法。

拉格朗日插值法在理論分析中很方便，因為他的公式結構緊湊。但是在實際應用中，如果存在差值節點經常增減變化時，拉格朗日插值法的插值多項式也需要隨之變化，遇見數據源比較大的時候，這難免有些浪費時間，這個時候，其實牛頓插值法更加適用。

拉格朗日差值法的理論基礎

偷懶不愿敲公式，所以直接拋了一個截圖，見諒見諒。

拉格朗日插值法代碼實現

數據源大概是這樣的：

time	count
2018/5/1	106684
2018/5/2	106644
2018/5/3	176520
2018/5/4	152311
2018/5/5	160264
2018/5/6
2018/5/7	182263
2018/5/8	172887
2018/5/9	160264
2018/5/10	152704
2018/5/11	110049
2018/5/12	136951
2018/5/13
2018/5/14	143165
2018/5/15	136951
2018/5/16
2018/5/17	135287

黃色部分是缺失值，需要通過其前后的數據進行插補，下面是代碼實現了。

# -*- coding: utf-8 -*- #拉格朗日法插補空缺值import pandas as pd #導入pandas庫 from scipy.interpolate import lagrange #導入拉格朗日函數inputfile = u'E:\\pythondata\\cjm5.xlsx' outputfile = u'E:\\pythondata\\cjm5_1.xlsx'data= pd.read_excel(inputfile) data[u'count'][(data[u'count']<100000) | (data[u'count']>200000)] = None #將異常值清空def ployinterp_column(s,n,k=2): #k=2表示用空值的前后兩個數值來擬合曲線，從而預測空值y = s[list(range(n-k,n)) + list(range(n+1,n+1-k))] #取值，range函數返回一個左閉右開（[left,right)）的序列數y = y[y.notnull()]#取上一行中取出數值列表中的非空值，保證y的每行都有數值，便于擬合函數return lagrange(y.index,list(y))(n) #調用拉格朗日函數，并添加索引for i in data.columns: #如果i在data的列名中，data.columns生成的是data的全部列名for j in range(len(data)): #len(data)返回了data的長度，若此長度為5，則range(5)會產生從0開始計數的整數列表if (data[i].isnull())[j]:#如果data[i][j]為空，則調用函數ployinterp_column為其插值data[i][j] = ployinterp_column(data[i],j)data.to_excel(outputfile) #將完成插值后的data寫入excel print("拉格朗日法插補完成，插補后的文件位于："+str(outputfile))

?代碼運行結束后會將插補完成的excel文件存在既定的位置（代碼中outputfile的位置），我們通過k的值來表示通過缺失值前多少個數值來插補，下面是通過k=2和k=3插補的結果，我們把它畫在一個折線圖中，直觀的判斷哪一個k值是更加符合業務實際情況的。

其他數據預處理方法

連續數據離散化（等寬、等頻、聚類離散）

清洗重復數據

數據預處理 - 歸一化與標準化

總結

以上是生活随笔為你收集整理的缺失值处理 - 拉格朗日插值法 - Python代码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。