python excel行数计算不对_数十万数据Excel数据不好处理怎么办?几行Python搞定
電商行業,每月有上百萬條訂單發貨數據需要與倉庫的數據進行核對計算,涉及到數據計算,篩選,匹配等步驟,用excel表超級卡,并且經常卡死。
這時如果你會Python,十幾行代碼就可以搞定。
這里需要兩個Python庫,一個是os庫,一個是pandas庫。
os庫
os是Python內置庫,不需要額外安裝,只要用import導入就可以用了。os模塊封裝了常見的文件和目錄操作,利用它可以輕松的對系統上的目錄和文件進行各種操作,比如獲取當前目錄、列舉當前文件夾中的所有文件和文件夾、判斷文件或目錄是否存在、刪除文件等。
pandas庫
pandas是第三方庫,需要手動安裝才能使用。pandas是專門用來做數據分析的強大類庫,可以方便地從csv、Excel和其他文本文件以及數據庫中讀取數據,然后對數據進行加和、求平均值、求方差、計算最大值最小值等數據分析,支持生成Excel等格式文件或進行可視化操作。
其中讀Excel需要依賴xlrd庫,寫Excel依賴openpyxl,pandas、xlrd和openpyxl安裝命令如下:
$ pip install xlrd openpyxl pandas
下面開始進行數據處理…
這里假設數據是按日期命名的Excel文件并且放在一個Excel文件夾中,每個Excel文件包含用戶ID、商品ID、商品屬性列表、購買數量這幾列信息。
文件夾中的所有文件如下:
$ ls excel_data
20120702.xlsx 20131018.xlsx 20150203.xlsx 20170416.xlsx 20180814.xlsx
20120703.xlsx 20131019.xlsx 20150204.xlsx 20170417.xlsx 20180815.xlsx
20120704.xlsx 20131020.xlsx 20150205.xlsx 20170418.xlsx 20180816.xlsx ...
實現的思路是利用os庫獲取所有的Excel文件,然后用pandas依次讀取所有文件并合并到一起進行數據分析,計算出每個商品的總量以及銷量前十的商品。列舉所有Excel文件
import os
files = os.listdir("excel_data")
2.用pandas讀取所有數據并合并到一起
import pandas as pd
df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files]
data = pd.concat(df_list)
3. 統計每個商品的數量
sum_of_product = data[["商品ID", "購買數量"]].groupby(["商品ID"]).sum()
sum_of_product
商品ID購買數量
16621
20182617
20331967
203320494
203322332
......
12268002521
1226800268
12269002316
12269202448
1226960245
662 rows × 1 columns
4.獲取銷量前十的商品
sum_of_product.sort_values('購買數量', ascending=False).head(10)
商品ID購買數量
5001883156632
500070168291
500119936351
500136366340
500037006325
2111225823
500105585248
500160064948
500066024692
500025244123
完整代碼如下:
import os
import pandas as pd
# 獲取所有Excel文件并讀取數據
files = os.listdir("excel_data")
df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files]
data = pd.concat(df_list)
# 統計每個商品的數量,并輸出到Excel文件中
sum_of_product = data[["商品ID", "購買數量"]].groupby(["商品ID"]).sum()
sum_of_product.to_excel("各個商品數量統計.xlsx")
# 統計銷量前十的商品
sum_of_product.sort_values('購買數量', ascending=False).head(10)
商品ID購買數量
5001883156632
500070168291
500119936351
500136366340
500037006325
2111225823
500105585248
500160064948
500066024692
500025244123
教程就到這里,不足之處歡迎交流指正。
————————————————
總結
以上是生活随笔為你收集整理的python excel行数计算不对_数十万数据Excel数据不好处理怎么办?几行Python搞定的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 使用udp协议实现服务器端程序时,用Vi
- 下一篇: websocket python爬虫_p