?文章來源：towardsdatascience

?作者：B.Chen
?翻譯\編輯：Python大數據分析

pandas是python中常用的數據分析庫，出現頻率非常高，而且pandas功能之多讓人咋舌，即使pandas老手也沒法保證能高效使用pandas做數據分析。

這篇文章目的梳理幾個高效實用的pandas小技巧，供大家參考。

1. 從剪切板中創建DataFrame

pandas中的read_clipboard()方法非常神奇，可以把剪切板中的數據變成dataframe格式，也就是說直接在excel中復制表格，可以快速轉化為dataframe。

以下面這個excel數據表為例，全部選中，按ctrl+c復制：

然后在python中執行pd.read_clipboard()，就能得到一模一樣的dataframe數據表：

pd.read_clipboard()

這功能對經常在excel和python中切換的分析師來說簡直是福音，excel中的數據能一鍵轉化為pandas可讀格式。

2. ?通過數據類型選擇columns

數據分析過程可能會需要篩選數據列，比如只需要數值列，以經典的泰坦尼克數據集為例：

import?seaborn?as?sns #?導出泰坦尼克數據集 df?=?sns.load_dataset('titanic') df.head()

查看該數據集各列的數據類型：

df.dtypes

可以看到各列的數據類型不太一樣，有int、object、float、bool等。

如果說我只要需要數值列，也就是數據類型為int、float的列，可以通過select_dtypes方法實現：

df.select_dtypes(include='number').head()

選擇除數據類型為int外其他的列，注意這里的參數是exclude：

df.select_dtypes(exclude='int').head()

也可以選擇多種數據類型：

df.select_dtypes(include=['int',?'datetime',?'object']).head()

3. 將strings改為numbers

在pandas中，有兩種方法可以將字符串改為數值：

• astype()方法

• to_numeric()方法

先創建一個樣本dataframe，看看這兩種方法有什么不同。

import?pandas?as?pd df?=?pd.DataFrame({?'product':?['A','B','C','D'],?'price':?['10','20','30','40'],'sales':?['20','-','60','-']}) df

product列是字符串類型，price、sales列雖然內容有數字，但它們的數據類型也是字符串。

值得注意的是，price列都是數字，sales列有數字，但空值用-代替了。

df.dtypes

下面我們用astype()方法將price列的數據類型改為int:

df['price']?=?df['price'].astype(int) #?或者用另一種方式 df?=?df.astype({'price':?'int'})

但如果你同樣用astype()方法更改sales列的話就會出現報錯：

df['sales']?=?df['sales'].astype(int)

原因是sales列里面的內容除了數字外還有-，它是字符串，沒辦法轉化為int。

而to_numeric()方法卻可以解決這一問題，只需要設置參數errors='coerce'。

df['sales']?=?pd.to_numeric(df['sales'],?errors='coerce')df

現在sale列中的-已經被替換成了NaN,它的數據類型也變成了float。

df.dtypes

4. 檢測并處理缺失值

有一種比較通用的檢測缺失值的方法是info()，它可以統計每列非缺失值的數量。

還是用泰坦尼克數據集：

import?seaborn?as?sns #?導出泰坦尼克數據集 df?=?sns.load_dataset('titanic') df.info()

標紅色地方是有缺失值的列，并且給出了非缺失值的數量，你可以計算出該列有多少缺失值。

這樣看可能不夠直觀，那可以用df.isnull().sum()方法很清楚地得到每列有多少缺失值：

df.isnull().sum()

df.isnull().sum().sum()則能夠返回該數據集總共有多少缺失值：

df.isnull().sum().sum()

還可以看缺失值在該列的占比是多少，用df.isna().mean()方法：

df.isna().mean()

注意：這里isnull()和isna()使用效果一樣。

那如何處理缺失值呢？

兩種方式：刪除和替換。

• 刪除包含缺失值的行：

df.dropna(axis?=?0)

• 刪除包含缺失值的列：

df.dropna(axis?=?1)

• 如果一列里缺失值超過10%，則刪除該列：

df.dropna(thresh=len(df)*0.9,?axis=1)

• 用一個標量替換缺失值：

df.fillna(value=10)

• 用上一行對應位置的值替換缺失值：

df.fillna(axis=0,?method='ffill')

• 用前一列對應位置的值替換缺失值：

df.fillna(axis=1,?method='ffill')

• 用下一行對應位置的值替換缺失值：

df.fillna(axis=0,?method='bfill')

• 用后一列對應位置的值替換缺失值：

df.fillna(axis=1,?method='bfill')

• 使用某一列的平均值替換缺失值：

df['Age'].fillna(value=df['Age'].mean(),?inplace=True)

當然你還可以用最大最小值、分位數值等來替換缺失值。

5. 對連續數據進行離散化處理

在數據準備過程中，常常會組合或者轉換現有特征以創建一個新的特征，其中將連續數據離散化是非常重要的特征轉化方式，也就是將數值變成類別特征。

同樣以泰坦尼克數據集為例，里面有一列是年齡特征age:

import?seaborn?as?sns #?導出泰坦尼克數據集 df?=?sns.load_dataset('titanic') df['age'].head()

年齡是一段連續值，如果我們想對它進行分組變成分類特征，比如（<=12，兒童）、（<=18，青少年）、（<=60，成人）、（>60，老人），可以用cut方法實現：

import?sys df['ageGroup']=pd.cut(df['age'],?bins=[0,?13,?19,?61,?sys.maxsize],?labels=['兒童',?'青少年',?'成人',?'老人'])df.head()

注意：這里的sys.maxsize是指可以存儲的最大值。

可以看到新增了一列ageGroup，用以展示年齡分組：

df['ageGroup'].head()

6. 從多個文件中構建一個DataFrame

有時候數據集可能分布在多個excel或者csv文件中，但需要把它讀取到一個DataFrame中，這樣的需求該如何實現？

做法是分別讀取這些文件，然后將多個dataframe組合到一起，變成一個dataframe。

這里使用內置的glob模塊，來獲取文件路徑，簡潔且更有效率。

在上圖中，glob()在指定目錄中查找所有以“ data_row_”開頭的CSV文件。

glob()以任意順序返回文件名，這就是為什么使用sort()函數對列表進行排序的原因。

「行合并」

假設數據集按行分布在2個文件中，分別是data_row_1.csv和data_row_2.csv

用以下方法可以逐行合并：

files?=?sorted(glob('data/data_row_*.csv')) pd.concat((pd.read_csv(file)?for?file?in?files),?ignore_index=True)

sorted(glob('data/data_row_*.csv'))返回文件名，然后逐個讀取，并且使用concat()方法進行合并，得到結果：

「列合并」

假設數據集按列分布在2個文件中，分別是data_row_1.csv和data_row_2.csv

用以下方法可以逐列合并：

files?=?sorted(glob('data/data_col_*.csv')) pd.concat((pd.read_csv(file)?for?file?in?files),?axis=1)

sorted(glob('data/data_row_*.csv'))返回文件名，然后逐個讀取，并且使用concat()方法進行列合并（注意這里axis=1），得到結果：

本文就到這里，pandas還有很多讓人驚喜的小技巧，大家有興趣也可以在評論區說說你的使用心得。

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯獲取一折本站知識星球優惠券，復制鏈接直接打開：https://t.zsxq.com/662nyZF本站qq群1003271085。加入微信群請掃碼進群（如果是博士或者準備讀博士請說明）：

總結

以上是生活随笔為你收集整理的【Python基础】快速提升效率的6个pandas使用小技巧的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。