在數(shù)據(jù)分析和建模的過程中，相當(dāng)多的時間要用在數(shù)據(jù)準(zhǔn)備上：加載、清理、轉(zhuǎn)換 以及重塑。pandas和內(nèi)置的Python標(biāo)準(zhǔn)庫提供了一組高級的、靈活的、 快速的工具，可以讓你輕松地將數(shù)據(jù)規(guī)整為想要的格式。

---

缺失數(shù)據(jù)

在許多數(shù)據(jù)分析工作中，缺失數(shù)據(jù)是經(jīng)常發(fā)生的。對于數(shù)值數(shù)據(jù)，pandas使用浮點值NaN(Not a Number)表示缺失數(shù)據(jù)。

---

過濾缺失數(shù)據(jù)(忽略)

一維序列：

二維dataframe：

數(shù)據(jù)填充

往往將缺失數(shù)據(jù)drop掉會造成大量的附帶數(shù)據(jù)丟失，因此填充缺失值的應(yīng)用更廣，pandas有專門用于填充數(shù)據(jù)的函數(shù)fillna()：

fillna(

value=None, #以固定值填充

method=None, #ffill用前面數(shù)據(jù)填，bfill用后面值填充

axis=None, #填充方向

inplace=False, #是否代替原對象

limit=None, #最多填充多少nan

downcast=None,

**kwargs,

)

數(shù)據(jù)轉(zhuǎn)換

---

移除重復(fù)數(shù)據(jù)

DataFrame的duplicated方法返回一個布爾型Series，表示各行是否是重復(fù)行(前面出現(xiàn)過的行)；drop_duplicates方法，它會返回一個DataFrame，重復(fù)的數(shù)組會標(biāo)為False：

---

利用函數(shù)或映射進行數(shù)據(jù)轉(zhuǎn)換

例：下面有一個員工表，增加一列，年齡超過30歲的標(biāo)記為老員工，否則標(biāo)記為年輕。

替換值

fillna就相當(dāng)于replace(np.nan,value)

重命名軸索引：

我們前面了解到DataFrame的index和columns可以直接更改：

如果你只想修改某幾個標(biāo)簽，可以用rename傳遞字典的方法實現(xiàn)：

---

離散化和面元劃分

統(tǒng)計學(xué)中常常要對一組數(shù)據(jù)按大小進行分組，比如下面對考試的分?jǐn)?shù)分組(每隔10)，并統(tǒng)計每組的人數(shù)：

等長劃分面元：

更強大的qcut：qcut是一個非常類似于cut的函數(shù)，它可以根據(jù)樣本分位數(shù)對數(shù)據(jù)進行面元劃分。

---

隨機取樣---sample()

---

計算指標(biāo)/啞變量

一種常用于統(tǒng)計建?；驒C器學(xué)習(xí)的轉(zhuǎn)換方式是：將分類變量(categorical variable)轉(zhuǎn)換為“啞變量”或“指標(biāo)矩陣”。

---

字符串操作

Series.str內(nèi)置了許多字符串處理函數(shù)，下表是常用的字符串處理函數(shù)

例：提取員工表的姓和名

總結(jié)

以上是生活随笔為你收集整理的pandas fillna_Pandas极简教程——数据清洗的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。