文章目錄

• 1. 數據清洗
• • 1.1 空值和缺失值的處理
  • • 1.1.1 使用isnull()和notnull()函數
    • • 1.1.1.1 isnull()語法格式：
      • 1.1.1.2 notnull()語法格式：
    • 1.1.2 使用 dropna()和fillna()方法
    • • 1.1.2.1 dropna()刪除含有空值或缺失值的行或列
      • 1.1.2.2 fillna()方法可以實現填充空值或者缺失值
  • 1.2 重復值的處理
  • • 1.2.1 使用duplicated()和drop_duplicates()方法
    • 1.2.2 duplicated()方法的語法格式
    • • • 強調注意：
      • 1.2.2.1 drop_duplicates()方法的語法格式
  • 1.3 異常值的處理
  • • 1.3.1 常用的檢測方法有3σ原則（拉依達準則）和箱形圖
    • • 1.3.1.1 3σ原則
      • 1.3.1.2 箱形圖
  • 1.4 更改數據類型
  • • 1.4.1 在使用構造方法中的 dtype參數指定數據類型
    • 1.4.2 通過 astype()方法可以強制轉換數據的類型。
    • 1.4.3 to_numeric()函數可以將傳入的參數轉換為數值類型。
• 2. 數據合并
• • 2.1軸向堆疊數據
  • • 2.1.1 concat()函數
  • 2.2 主鍵合并數據
  • • 2.2.1 merge()函數
    • • 2.2.1.1 how參數可以取下列值
  • 2.3 根據行索引合并數據
  • • 2.3.1 join()方法
  • 2.4 合并重疊數據
  • • 2.4.1 combine_first()方法
• 3. 數據重塑
• • 3.1 重塑層次化索引
  • • 3.1.1 stack()方法
    • 3.1.2 unstack()方法
  • 3.2 軸向旋轉
  • • 3.2.1 pivot()方法
• 4. 數據轉換
• • 4.1 重命名軸索引
  • • 4.1.1 rename()方法
  • 4.2 離散化連續數據
  • • 4.2.1 cut ()函數
  • 4.3 啞變量處理類別型數據
  • • 4.3.1 get_dummies()函數
    • 4.3.2 cut()函數與get_dummies()函數的混合使用

1. 數據清洗

1.1 空值和缺失值的處理

? 空值一般表示數據未知、不適用或將在以后添加數據。缺失值是指數據集中某個或某些屬性的值是不完整的。

? 一般空值使用None表示，缺失值使用NaN表示

1.1.1 使用isnull()和notnull()函數

? 可以判斷數據集中是否存在空值和缺失值

1.1.1.1 isnull()語法格式：

pandas . isnull(obj)

1.1.1.2 notnull()語法格式：

pandas . notnull(obj)

? notnull()與 isnull()函數的功能是一樣的，都可以判斷數據中是否存在空值或缺失值，不同處在于，前者發現數據中有空值或缺失值時返回False，后者返回的是True.

1.1.2 使用 dropna()和fillna()方法

? 對缺失值進行刪除和填充。

1.1.2.1 dropna()刪除含有空值或缺失值的行或列

? axis：確定過濾行或列

? how：確定過濾的標準，默認是‘any’

? inplase:：False=不修改對象本身

1.1.2.2 fillna()方法可以實現填充空值或者缺失值

? value：用于填充的數值，
? method：表示填充方式，默認值為None，‘ffill’前填充，‘bfill’后填充
? limit：可以連續填充的最大數量，默認None.

1.2 重復值的處理

? 當數據中出現了重復值，在大多數情況下需要進行刪除。

1.2.1 使用duplicated()和drop_duplicates()方法

? duplicated()方法用于標記是否有重復值。
? drop_duplicates()方法用于刪除重復值。
? 它們的判斷標準是一樣的，即只要兩條數中所有條目的值完全相等，就判斷為重復值。

1.2.2 duplicated()方法的語法格式

? subset：用于識別重復的列標簽或列標簽序列，默認識別所有的列標簽。
? keep：刪除重復項并保留第一次出現的項取值可以為 first、last或 False

? duplicated()方法用于標記 Pandas對象的數據是否重復，重復則標記為True，不重復則標記為False，所以該方法返回一個由布爾值組成的Series對象，它的行索引保持不變，數據則變為標記的布爾值

強調注意：

? （1）只有數據表中兩個條目間所有列的內容都相等時，duplicated()方法才會判斷為重復值。
? （2）duplicated()方法支持從前向后（ first）和從后向前（last）兩種重復值查找模式，默認是從前向后查找判斷重復值的。換句話說，就是將后出現的相同條目判斷為重復值。

1.2.2.1 drop_duplicates()方法的語法格式

2 上述方法中， inplace參數接收一個布爾類型的值，表示是否替換原來的數據，默認為False.

1.3 異常值的處理

? 異常值是指樣本中的個別值，其數值明顯偏離它所屬樣本的其余觀測值，這些數值是不合理的或錯誤的。

1.3.1 常用的檢測方法有3σ原則（拉依達準則）和箱形圖

? 3σ原則是基于正態分布的數據檢洳而箱形圖沒有什么嚴格的要求，可以檢測任意一組數據，

1.3.1.1 3σ原則

? 是指假設一組檢測數據只含有隨機誤差，對其進行計算處理得到標準偏差，按一定概率確定一個區間，凡是超過這個區間的誤差都是粗大誤差，在此誤差的范圍內的數據應予以剔除。

? 數值幾乎全部集中在（μ-3σ，μ+3σ）]區間內，超出這個范圍的可能性僅占不到0.3%.所以，凡是誤差超過這個區間的就屬于異常值，應予以剔除

def three_sidma(ser):# ser 為數據的列mean_value=ser.mean()# 平均值std_value=ser.std()# 標準值rule=(ser<mean_value-3*std_value)|(ser>mean_value+3*std_value)index=np.arange(ser.shape[0])[rule]outrange=ser.iloc[index]return outrange

1.3.1.2 箱形圖

? 箱開圖是一種用作顯示一組數據分散情況的統計圖。在箱形圖中，異常值通常被定義為小于QL-15QR或大于QU+1.5IQR的值。
? （1）QL稱為下四分位數，表示全部觀察中四分之一的數據取值比它小
? （2）QU稱為上四分位數，表示全部觀察值中有四分之一的數據取值比它大
? （3）IQR稱為四分位數間距，是上四分位數0與下四分位數則之差，其間包含了全部觀察值的一半。

? 離散點表示的是異常值，上界表示除異常值以外數據中最大值；下界表示除異常值以外數據中最小值。

boxplot()方法，專門用來繪制箱形圖。

---

? 檢測出異常值后，通常會采用如下四種方式處理這些異常值
? a）直接將含有異常值的記錄刪除。
? b）用具體的值來進行替換，可用前后兩個觀測值的平均值修正該異常值
? c）不處理，直接在具有異常值的數據集上進行統計分析
? d）視為缺失值，利用缺失值的處理方法修正該異常值。

? 如果希望對異常值進行修改，則可以使用replace()方法進行替換，該方法不僅可以對單個數據進行替換，也可以多個數據執行批量替換操作。

? to_replace：表示查找被替換值的方式
? value：用來替換任何匹配 to_replace的值，默認值None.

1.4 更改數據類型

? 在處理數據時，可能會遇到數據類型不一致的問題。例如，通過爬蟲采集到的數據都是整型的數據，在使用數據時希望保留兩位小數點，這時就需要將數據的類型轉換成浮點型。

? 創建 Pandas數據對象時，如果沒有明確地指出數據的類型，則可以根據傳入的數據推斷出來并且通過 dtypes屬性進行查看。

1.4.1 在使用構造方法中的 dtype參數指定數據類型

1.4.2 通過 astype()方法可以強制轉換數據的類型。

? dtype：表示數據的類型。
? errors：錯誤采取的處理方式，可以取值為 raise或 ignore.其中， raise表示允許引發異常ignore表示抑制異常，默認為 raise.

? astype()方法存在著一些局限性，只要待轉換的數據中存在非數字以外的字符，在使用 astype()方法進行類型轉換時就會出現錯誤，而to_numeric()函數的出現正好解決了這個問題。

1.4.3 to_numeric()函數可以將傳入的參數轉換為數值類型。

arg：表示要轉換的數據，可以是list、tuple、 Series.
errors：表示錯誤采取的處理方式。

2. 數據合并

2.1軸向堆疊數據

2.1.1 concat()函數

? concat()函數可以沿著一條軸將多個對象進行堆疊，其使用方式類似數據庫中的數據表合并。

axis：表示連接的軸向，可以為0或1，默認為0
join：表示連接的方式，inner表示內連接， outer表示外連接默認使用外連接。
i gnore_index：如果設置為True，清除現有索引并重置索引值。
names：結果分層索引中的層級的名稱。

? 根據軸方向的不同，可以將堆疊分成橫向堆疊與縱向堆疊，默認采用的是縱向堆疊方式。

? 在堆疊數據時，默認采用的是外連接（join參數設為 outer）的方式進行合并，當然也可以通過join=inner設置為內連接的方式。

2.2 主鍵合并數據

? 主鍵合并類似于關系型數據庫的連接方式，它是指根據個或多個鍵將不同的 DataFrame對象連接起來，大多數是將兩個 DataFrame對象中重疊的列作為合并的鍵。

2.2.1 merge()函數

left：參與合并的左側 DataFrame對象。
right：參與合并的右側 DataFrame對象。
how：表示連接方式，默認為 inner。

2.2.1.1 how參數可以取下列值

left：使用左側的 DataFrame的鍵，類似SQL的左外連接
right：使用右側的 DataFrame的鍵，類似SQL的右外連接
outer：使用兩個 DataFrame所有的鍵，類似SQL的全連接。
inner：使用兩個 DataFrame鍵的交集，類似SQL的內連接

? 在使用 merge()函數進行合并時，默認會使用重疊的列索引做為合并鍵，并采用內連接方式合并數據，即取行索引重疊的部分。

? merge()函數還支持對含有多個重疊列的 Data frame對象進行合并。

? 使用外連接的方式將 left與right進行合并時，列中相同的數據會重疊，沒有數據的位置使用NaN進行填充。

2.3 根據行索引合并數據

? join()方法能夠通過索引或指定列來連接多個DataFrame對象

2.3.1 join()方法

on：名稱，用于連接列名。
how：可以從{‘left‘，’right’，’ outer‘，‘inner’}中任選一個，默認使用左連接的方式。
sort：根據連接鍵對合并的數據進行排序，默認為 False.

2.4 合并重疊數據

? 當DataFrame對象中出現了缺失數據，而我們希望使用其他 DataFrame對象中的數據填充缺失數據，則可以通過 combine_first()方法為缺失數據填充。

2.4.1 combine_first()方法

上述方法中只有一個參數 other，該參數用于接收填充缺失值的 DataFrame對象。

注意：使用combine_first()方法合并兩個DataFrame對象時，必須確保它們的行索引和列索引有重疊的部分

3. 數據重塑

3.1 重塑層次化索引

? Pandas中重塑層次化索引的操作主要是 stack()方法和 unstack()方法，前者是將數據的列“旋轉”為行，后者是將數據的行“旋轉”為列。

3.1.1 stack()方法

stack()方法可以將數據的列索引轉換為行索引。

level：默認為-1，表示操作內層索引。若設為0，表示操作外層索引。

dropna：表示是否將旋轉后的缺失值刪除，若設為True，則表示自動過濾缺失值，設置為 False則相反。

3.1.2 unstack()方法

unstack()方法可以將數據的行索引轉換為列索引

level：默認為-1，表示操作內層索引，0表示操作外層索引。

fill_value：若產生了缺失值，則可以設置這個參數用來替換NaN。

3.2 軸向旋轉

? 在 Pandas中pivot()方法提供了這樣的功能，它會根據給定的行或列索引重新組織一個 DataFrame對象。

3.2.1 pivot()方法

index：用于創建新 DataFrame對象的行索引。
columns：用于創建新 DataFrame對象的列索引
values：用于填充新 DataFrame對象中的值。

4. 數據轉換

4.1 重命名軸索引

Pandas中提供了一個rename()方法來重命名個別列索引或行索引的標簽或名稱。

4.1.1 rename()方法

index，columns：表示對行索引名或列索引名的轉換。

inplace：默認為False，表示是否返回新的Pandas對象。

4.2 離散化連續數據

Pandas 的 cut ()函數能夠實現離散化操作。

4.2.1 cut ()函數

x：表示要分箱的數組，必須是一維的。

bins：接收int和序列類型的數據。（序列劃分區間）

right：是否包含右端點，決定區間的開閉，默認為True。

? cut()函數會返回一個Categorical對象，我們可以將其看作一組表示 面元名稱 的字符串，它包含了分組的數量以及不同分類的名稱。

? Categories對象中的區間范圍跟數學符號中的“區間”一樣，都是用圓括號表示開區間，用方括號則表示閉區間。

ages=[18,22,25,27,21,23,37,31,60,45,82] bins=[0,18,25,50,60,100] # bins是一個序列，劃分區間 cuts=pd.cut(ages,bins) cuts

---

設置左閉右開區間，則可以在調用cut()函數時傳入right=False進行修改。

# 如果希望設置左右開區間，則可以在調用cut函數時傳入right= False進行修改。 pd.cut(ages,bins=bins,right=False) # 可以在調用cut函數時指定labels= 用干生成區間的標簽 pd.cut(ages,bins=bins,labels=['少年','青年','中年','中老年','老年'])

4.3 啞變量處理類別型數據

在Pandas中，可以使用get_dummies()函數對類別特征進行啞變量處理.

4.3.1 get_dummies()函數

data：表示啞變量處理的數據。

prefix：表示列名的前綴，默認為None。（‘col’）

prefix_sep：用于附加前綴作為分隔符使用，默認為“_”。

---

? 啞變量又稱應擬變量，名義變量，從名稱上看就知道，它是人為虛設的變量，用來反映某個交量的不間類別
? 使用啞變最處理類別轉換，事實上就是將分類變量轉換為啞變最矩陣或指標矩陣，矩陣的值通常用“0”或“1”表示</u>

df1=pd.DataFrame({'職業':['工人','學生','司機','教師','導游']}) # get_dummies()對類別特進行啞變量處理 pd.get_dummies(df1) pd.get_dummies(df1,prefix=['col'])

---

4.3.2 cut()函數與get_dummies()函數的混合使用

ret=pd.cut(ages,bins=bins,right=False,labels=['少年','青年','中年','中老年','老年']) pd.get_dummies(ret,prefix='年齡類別',prefix_sep=':')

總結

以上是生活随笔為你收集整理的Python数据分析之数据预处理（数据清洗、数据合并、数据重塑、数据转换）学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。