本章概要

1、去重
2、缺失值處理
3、清洗字符型數據的空格
4、字段抽取

去重

• 把數據結構中，行相同的數據只保留一行

• 函數語法：

  • drop_duplicates()

#導入pandas包中的read_csv函數 from pandas import read_csv df=read_csv('路徑')#找出行重復的位置 dIndex=df.duplicated()#也可根據某些列，找出重復的位置 dIndex=df.duplicated('age') dIndex=df.duplicated(['age','name'])#根據返回值，把重復數據提取出來 df[dIndex]#默認根據所有的列，進行刪除,注意這里是duplicates newdf=df.drop.duplicates()#也可以指定莫一列，進行重復值刪除 newdf=df.drop.duplicates('age')

缺失值處理

缺失數據的產生

• 數據暫時無法獲取

  • 比如未成年兒童的收入等

• 有些數據被遺漏或錯誤處理了

缺失數據的處理方式

缺失數據在實際工作中，是不可避免的，本部分還是很重要的

• 數據補齊

  • 用一定的值去填充空值，使數據完備化，如平均值填充等等

• 刪除對應缺失行

• 不處理

如何刪除缺失數據的所在行

在python中，使用dropna函數進行缺失數據的清洗

• dropna函數作用：去除數據結構中值為空的數據

• dropna函數語法：dropna()

# 首先導入數據文件，輸出df變量 from pandas import read_csv df=read_csv('路徑')

在pandas的數據框中，缺失值用NaN來標注

# 把之前數據為空的，換成a,b,可以把a、b指定為NaN值，作用是可以把不不要的數據替換成缺失值，然后處理，使用的是read的na_values函數 df=read_csv('路徑'，na_values=['a','b']) # 找出NaN所在的行，通過isnull方法獲取數據框中某個位置的值是否為NaN值 isNA=df.isnull()

• 如何數據框對應的位置是NaN值，那么isnull方法對應的就是布爾值True,根據這個特征，就可以使用數據框的行獲取方法，獲取出NaN值所在的行

#獲取空值所在的行 #首先獲取所有的列，只要獲取到NaN了，就認為這行有NaN值了 #使用any方法，就可以實現這種選擇效果 df[isNA.any(axis=1)]

#如何要特定某列的NaN值，定位后在用any的方法就可以了 df[isNA[['gender']].any(axis=1)]

• 特別注意定位gender的字符串有兩個中括號，不能是一個

#直接刪除空值 newdf=df.dropna()

清洗字符型數據的空格

• strip函數作用：清除字符型數據左右的空格

• strip函數語法：strip()

#打開數據文件 from pandas import read_csv df=read_csv('路徑')#清除字符串左邊的空格 newname=df['name'].str.lstrip() #清除字符串右邊的空格 newname=df['name'].str.rstrip() #清除字符串左、右邊的空格 newname=df['name'].str.strip()#把清洗后的數據放回原來的列 df['name']=newname

字段抽取

• 字段抽取，是根據已知列數據的開始和結束位置，抽取出新的列

• 字段截取函數：slice(start開始位置，stop結束位置)

  • 與數據結構的訪問方式一樣，開始位置是從0開始的，開始位置是大于等于，結束位置是小于，不能取等于

  • slice函數默認只能處理字符型數據，如要處理數字型數據，必須進行轉化

轉載于:https://www.cnblogs.com/shujufenxi/p/9054459.html

總結

以上是生活随笔為你收集整理的第三章 python数据规整化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。