大家好～

很多人在學習數據分析的時候，肯定都會用到Pandas這個庫，非常的實用！

從創建數據到讀取各種格式的文件(text、csv、json)，或者對數據進行切片和分割組合多個數據源，Pandas都能夠很好的滿足。

Pandas最初發布于2008年，使用Python、Cython和C編寫的。是一個超級強大、快速和易于使用的Python庫，用于數據分析和處理。

當然Pandas也是有不足之處的，比如不具備多處理器，處理較大的數據集速度很慢。

今天，就給大家介紹一個新興的Python庫——Polars。

使用語法和Pandas差不多，處理數據的速度卻比Pandas快了不少。

一個是大熊貓，一個是北極熊～

GitHub地址：https://github.com/ritchie46/polars

使用文檔：https://ritchie46.github.io/polars-book/

Polars是通過Rust編寫的一個庫，Polars的內存模型是基于Apache Arrow。

Polars存在兩種API，一種是Eager API，另一種則是Lazy API。

其中Eager API和Pandas的使用類似，語法差不太多，立即執行就能產生結果。

而Lazy API就像Spark，首先將查詢轉換為邏輯計劃，然后對計劃進行重組優化，以減少執行時間和內存使用。

安裝Polars，使用百度pip源。

#?安裝polars pip?install?polars?-i?https://mirror.baidu.com/pypi/simple/

安裝成功后，開始測試，比較Pandas和Polars處理數據的情況。

使用某網站注冊用戶的用戶名數據進行分析，包含約2600萬個用戶名的CSV文件。

文件已上傳公眾號，獲取方式見文末。

import?pandas?as?pddf?=?pd.read_csv('users.csv') print(df)

數據情況如下。

此外還使用了一個自己創建的CSV文件，用以數據整合測試。

import?pandas?as?pddf?=?pd.read_csv('fake_user.csv') print(df)

得到結果如下。

首先比較一下兩個庫的排序算法耗時。

import?timeit import?pandas?as?pdstart?=?timeit.default_timer()df?=?pd.read_csv('users.csv') df.sort_values('n',?ascending=False) stop?=?timeit.default_timer()print('Time:?',?stop?-?start)------------------------- Time:??27.555776743218303

可以看到使用Pandas對數據進行排序，花費了大約28s。

import?timeit import?polars?as?plstart?=?timeit.default_timer()df?=?pl.read_csv('users.csv') df.sort(by_column='n',?reverse=True) stop?=?timeit.default_timer()print('Time:?',?stop?-?start)----------------------- Time:??9.924110282212496

Polars只花費了約10s，這意味著Polars比Pandas快了2.7倍。

下面，我們來試試數據整合的效果，縱向連接。

import?timeit import?pandas?as?pdstart?=?timeit.default_timer()df_users?=?pd.read_csv('users.csv') df_fake?=?pd.read_csv('fake_user.csv') df_users.append(df_fake,?ignore_index=True) stop?=?timeit.default_timer()print('Time:?',?stop?-?start)------------------------ Time:??15.556222308427095

使用Pandas耗時15s。

import?timeit import?polars?as?plstart?=?timeit.default_timer()df_users?=?pl.read_csv('users.csv') df_fake?=?pl.read_csv('fake_user.csv') df_users.vstack(df_fake) stop?=?timeit.default_timer()print('Time:?',?stop?-?start)----------------------- Time:??3.475433263927698

Polars居然最使用了約3.5s，這里Polars比Pandas快了4.5倍。

通過上面的比較，Polars在處理速度上表現得相當不錯。

可以是大家在未來處理數據時，另一種選擇～

當然，Pandas目前歷時12年，已經形成了很成熟的生態，支持很多其它的數據分析庫。

Polars則是一個較新的庫，不足的地方還有很多。

如果你的數據集對于Pandas來說太大，對于Spark來說太小，那么Polars便是你可以考慮的一個選擇。

推薦閱讀

誤執行了rm -fr /*之后，除了跑路還能怎么辦？！

程序員必備58個網站匯總

大幅提高生產力：你需要了解的十大Jupyter Lab插件

總結

以上是生活随笔為你收集整理的Pandas处理数据太慢，来试试Polars吧！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。