1 讀取時抽樣 1%

對于動輒就幾十或幾百個 G 的數據，在讀取這么大數據時，有沒有辦法隨機選取一小部分數據，然后讀入內存，快速了解數據和開展 EDA ？

使用 Pandas 的 skiprows 和 概率知識，就能做到。

下面解釋具體怎么做。

如下所示，讀取某 100 G 大小的 big_data.csv 數據

使用 skiprows 參數，

x > 0 確保首行讀入，

np.random.rand() > 0.01 表示 99% 的數據都會被隨機過濾掉

言外之意，只有全部數據的 1% 才有機會選入內存中。

import pandas as pd import numpy as npdf = pd.read_csv("big_data.csv", skiprows = lambda x: x>0 and np.random.rand() > 0.01)print("The shape of the df is {}. It has been reduced 100 times!".format(df.shape))

使用這種方法，讀取的數據量迅速縮減到原來的 1% ，對于迅速展開數據分析有一定的幫助。

2 replace 做清洗

Pandas 的強項在于數據分析，自然就少不了對數據清洗的支持。

今天學習一個快速清洗數據的小技巧，在某列上使用 replace 方法和正則，快速完成值的清洗。

源數據：

d = {"customer": ["A", "B", "C", "D"], "sales":[1100, "950.5RMB", "$400", " $1250.75"]}df = pd.DataFrame(d) df

打印結果：

customer sales 0 A 1100 1 B 950.5RMB 2 C $400 3 D $1250.75

看到 sales 列的值，有整型，浮點型+RMB后變為字符串型，還有美元+整型，美元+浮點型。

我們的目標：清洗掉 RMB，$ 符號，轉化這一列為浮點型。

一行代碼搞定：（點擊代碼區域，向右滑動，查看完整代碼）

df["sales"] = df["sales"].replace("[$,RMB]", "", regex = True).astype("float")

使用正則替換，將要替換的字符放到列表中 [$,RMB]，替換為空字符，即 ""；

最后使用 astype 轉為 float

打印結果：

customer sales 0 A 1100.00 1 B 950.50 2 C 400.00 3 D 1250.75

Done ~

如果不放心，再檢查下值的類型：

df["sales"].apply(type)

打印結果：

0 <class 'float'> 1 <class 'float'> 2 <class 'float'> 3 <class 'float'>

3 寬 DF 變長

為什么需要寬 DF 變長??

構造一個 DataFrame：

d = {\ "district_code": [12345, 56789, 101112, 131415], "apple": [5.2, 2.4, 4.2, 3.6], "banana": [3.5, 1.9, 4.0, 2.3], "orange": [8.0, 7.5, 6.4, 3.9] }df = pd.DataFrame(d) df

打印結果：

district_code apple banana orange 0 12345 5.2 3.5 8.0 1 56789 2.4 1.9 7.5 2 101112 4.2 4.0 6.4 3 131415 3.6 2.3 3.9

5.2 表示 12345 區域的 apple 價格，并且 apple, banana, orange，這三列都是一種水果，那么如何把這三列合并為一列？

使用 pd.melt

具體參數取值，大家根據此例去推敲：

df = df.melt(\ id_vars = "district_code", var_name = "fruit_name", value_name = "price") df

打印結果：

district_code fruit_name price 0 12345 apple 5.2 1 56789 apple 2.4 2 101112 apple 4.2 3 131415 apple 3.6 4 12345 banana 3.5 5 56789 banana 1.9 6 101112 banana 4.0 7 131415 banana 2.3 8 12345 orange 8.0 9 56789 orange 7.5 10 101112 orange 6.4 11 131415 orange 3.9

以上就是長 DataFrame，對應的原 DataFrame 是寬 DF.

看明白嗎？

4 轉 datetime

告訴年和 dayofyear，怎么轉 datetime?

原 DataFrame

d = {\ "year": [2019, 2019, 2020], "day_of_year": [350, 365, 1] } df = pd.DataFrame(d) df

打印結果：

year day_of_year 0 2019 350 1 2019 365 2 2020 1

轉 datetime 的 trick。

Step 1: 創建整數

df["int_number"] = df["year"]*1000 + df["day_of_year"] df

打印結果：

year day_of_year int_number 0 2019 350 2019350 1 2019 365 2019365 2 2020 1 2020001

Step 2: to_datetime

df["date"] = pd.to_datetime(df["int_number"], format = "%Y%j") df

注意 "%Y%j" 中轉化格式 j

打印結果：

year day_of_year int_number date 0 2019 350 2019350 2019-12-16 1 2019 365 2019365 2019-12-31 2 2020 1 2020001 2020-01-01

以上就是 Pandas 做數據分析的 4 個 trick。碼字不易，點個在看。

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎下載（pdf更新到25集）本站qq群1003271085，加入微信群請回復“加群”獲取一折本站知識星球優惠券，請回復“知識星球”喜歡文章，點個在看

總結

以上是生活随笔為你收集整理的Pandas 4 个小 trick，都很实用！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。