選自medium，作者：Darren Burns

本文轉自機器之心（nearhuman2014）

在用pandas進行數據處理時，同一個操作經常會重復很多次，由于這些常見的場景涉及到不同類型的數據集，因此本文更加側重于展示和解釋這些代碼可以用于完成哪些工作，以便讀者更加方便地使用它們。

在下面的代碼片段中，數據清洗代碼被封裝在了一些函數中，代碼的目的十分直觀。你可以直接使用這些代碼，無需將它們嵌入到需要進行少量參數修改的函數中。

1. 刪除多列數據

def?drop_multiple_col(col_names_list,?df):?'''AIM????->?Drop?multiple?columns?based?on?their?column?names?INPUT??->?List?of?column?names,?dfOUTPUT?->?updated?df?with?dropped?columns?------'''df.drop(col_names_list,?axis=1,?inplace=True)return?df

有時，并不是所有列的數據都對我們的數據分析工作有用。因此，df.drop可以方便地刪掉你選定的列。

2. 轉換 Dtypes

def?change_dtypes(col_int,?col_float,?df):?'''AIM????->?Changing?dtypes?to?save?memoryINPUT??->?List?of?column?names?(int,?float),?dfOUTPUT?->?updated?df?with?smaller?memory??------'''df[col_int]?=?df[col_int].astype('int32')df[col_float]?=?df[col_float].astype('float32')

當我們面對更大的數據集時，我們需要對「dtypes」進行轉換，從而節省內存。如果你有興趣學習如何使用Pandas來處理大數據，我強烈推薦你閱讀「Why and How to Use Pandas with Large Data」這篇文章（https://towardsdatascience.com/why-and-how-to-use-pandas-with-large-data-9594dda2ea4c）。

3. 將分類變量轉換為數值變量

def?convert_cat2num(df):#?Convert?categorical?variable?to?numerical?variablenum_encode?=?{'col_1'?:?{'YES':1,?'NO':0},'col_2'??:?{'WON':1,?'LOSE':0,?'DRAW':0}}??df.replace(num_encode,?inplace=True)??

有一些機器學習模型要求變量是以數值形式存在的。這時，我們就需要將分類變量轉換成數值變量然后再將它們作為模型的輸入。對于數據可視化任務來說，我建議大家保留分類變量，從而讓可視化結果有更明確的解釋，便于理解。

4. 檢查缺失的數據

def?check_missing_data(df):#?check?for?any?missing?data?in?the?df?(display?in?descending?order)return?df.isnull().sum().sort_values(ascending=False)

如果你想要檢查每一列中有多少缺失的數據，這可能是最快的方法。這種方法可以讓你更清楚地知道哪些列有更多的缺失數據，幫助你決定接下來在數據清洗和數據分析工作中應該采取怎樣的行動。

5. 刪除列中的字符串

def?remove_col_str(df):#?remove?a?portion?of?string?in?a?dataframe?column?-?col_1df['col_1'].replace('\n',?'',?regex=True,?inplace=True)#?remove?all?the?characters?after?&#?(including?&#)?for?column?-?col_1df['col_1'].replace('?&#.*',?'',?regex=True,?inplace=True)

有時你可能會看到一行新的字符，或在字符串列中看到一些奇怪的符號。你可以很容易地使用 df['col_1'].replace 來處理該問題，其中「col_1」是數據幀 df 中的一列。

6. 刪除列中的空格

def?remove_col_white_space(df):#?remove?white?space?at?the?beginning?of?string?df[col]?=?df[col].str.lstrip()

當數據十分混亂時，很多意想不到的情況都會發生。在字符串的開頭有一些空格是很常見的。因此，當你想要刪除列中字符串開頭的空格時，這種方法很實用。

7. 將兩列字符串數據（在一定條件下）拼接起來

def?concat_col_str_condition(df):#?concat?2?columns?with?strings?if?the?last?3?letters?of?the?first?column?are?'pil'mask?=?df['col_1'].str.endswith('pil',?na=False)col_new?=?df[mask]['col_1']?+?df[mask]['col_2']col_new.replace('pil',?'?',?regex=True,?inplace=True)??#?replace?the?'pil'?with?emtpy?space

當你希望在一定條件下將兩列字符串數據組合在一起時，這種方法很有用。例如，你希望當第一列以某些特定的字母結尾時，將第一列和第二列數據拼接在一起。根據你的需要，還可以在拼接工作完成后將結尾的字母刪除掉。

8. 轉換時間戳（從字符串類型轉換為日期「DateTime」格式）

def?convert_str_datetime(df):?'''AIM????->?Convert?datetime(String)?to?datetime(format?we?want)INPUT??->?dfOUTPUT?->?updated?df?with?new?datetime?format?------'''df.insert(loc=2,?column='timestamp',?value=pd.to_datetime(df.transdate,?format='%Y-%m-%d?%H:%M:%S.%f'))

在處理時間序列數據時，你可能會遇到字符串格式的時間戳列。這意味著我們可能不得不將字符串格式的數據轉換為根據我們的需求指定的日期「datetime」格式，以便使用這些數據進行有意義的分析和展示。

由于微信平臺算法改版，公號內容將不再以時間排序展示，如果大家想第一時間看到我們的推送，強烈建議星標我們和給我們多點點【在看】。星標具體步驟為：（1）點擊頁面最上方“小詹學Python”，進入公眾號主頁。 （2）點擊右上角的小點點，在彈出頁面點擊“設為星標”，就可以啦。 感謝支持，比心。 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的Pandas数据清洗工具箱的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。