大數(shù)據(jù)分析，內(nèi)存不夠用怎么辦？

當(dāng)然，你可以升級你的電腦為超級電腦。

另外，你也可以采用硬盤操作。

本文示范了硬盤操作的一種可能的方式。

?

本文基于：win10(64) + py3.5

?

本人電腦配置：4G內(nèi)存

?

說明：

數(shù)據(jù)大小：5.6G

數(shù)據(jù)描述：自2010年以來，紐約的311投訴

數(shù)據(jù)來源：紐約開放數(shù)據(jù)官網(wǎng)(NYC's open data portal)

數(shù)據(jù)下載：https://data.cityofnewyork.us/api/views/erm2-nwe9/rows.csv?accessType=DOWNLOAD

import pandas as pd import time'''python大數(shù)據(jù)分析工作流程''' # 5G大數(shù)據(jù)文件，csv格式 reader = pd.read_csv('311_Service_Requests_from_2010_to_Present.csv', iterator=True, encoding='utf-8')# HDF5格式文件支持硬盤操作，不需要全部讀入內(nèi)存 store = pd.HDFStore('311_Service_Requests_from_2010_to_Present.h5')# 然后用迭代的方式轉(zhuǎn)換.csv格式為.h5格式 chunkSize = 100000 i = 0 while True:try:start = time.clock()# 從csv文件迭代讀取df = reader.get_chunk(chunkSize)# 去除列名中的空格df = df.rename(columns={c: c.replace(' ', '') for c in df.columns})# 轉(zhuǎn)換為日期時(shí)間格式df['CreatedDate'] = pd.to_datetime(df['CreatedDate'])df['ClosedDate'] = pd.to_datetime(df['ClosedDate'])# 感興趣的列columns = ['Agency', 'CreatedDate', 'ClosedDate', 'ComplaintType', 'Descriptor', 'TimeToCompletion', 'City']# 不感興趣的列columns_for_drop = list(set(df.columns) - set(columns))df.drop(columns_for_drop, inplace=True, axis=1, errors='ignore')# 轉(zhuǎn)到h5文件# 通過指定data_columns，建立額外的索引器，可提升查詢速度store.append('df', df, data_columns = ['ComplaintType', 'Descriptor', 'Agency'])# 計(jì)時(shí)i += 1end = time.clock()print('{} 秒: completed {} rows'.format(end - start, i * chunksize))except StopIteration:print("Iteration is stopped.")break# 轉(zhuǎn)換完成之后，就可以選出想要進(jìn)行數(shù)據(jù)分析的行，將其從硬盤導(dǎo)入到內(nèi)存，如： # 導(dǎo)入前三行 #store.select('df', "index<3")# 導(dǎo)入 ComplaintType, Descriptor, Agency這三列的前十行 #store.select('df', "index<10 & columns=['ComplaintType', 'Descriptor', 'Agency']")# 導(dǎo)入 ComplaintType, Descriptor, Agency這三列中滿足Agency=='NYPD'的前十行 #store.select('df', "columns=['ComplaintType', 'Descriptor', 'Agency'] & Agency=='NYPD'").head(10)# 導(dǎo)入 ComplaintType, Descriptor, Agency這三列中滿足Agency IN ('NYPD', 'DOB')的前十行 #store.select('df', "columns=['ComplaintType', 'Descriptor', 'Agency'] & Agency IN ('NYPD', 'DOB')")[:10]# ====================================== # 下面示范一個(gè)groupby操作 # 說明：由于數(shù)據(jù)太大，遠(yuǎn)超內(nèi)存。因此無法全部導(dǎo)入內(nèi)存。 # ====================================== # 硬盤操作：導(dǎo)入所有的 City 名稱 cities = store.select_column('df','City').unique() print("\ngroups:%s" % cities)# 循環(huán)讀取 city groups = [] for city in cities:# 硬盤操作：按City名稱選取group = store.select('df', 'City=%s' % city)# 這里進(jìn)行你想要的數(shù)據(jù)處理groups.append(group[['ComplaintType', 'Descriptor', 'Agency']].sum())print("\nresult:\n%s" % pd.concat(groups, keys = cities))# 最后，記得關(guān)閉 store.close()

?

?

附：

運(yùn)行過程中出現(xiàn)了一個(gè)錯(cuò)誤

?

把上面的：

# 轉(zhuǎn)到h5文件 # 通過指定data_columns，建立額外的索引器 store.append('df', df, data_columns = ['ComplaintType', 'Descriptor', 'Agency'])

?

改為：

# 轉(zhuǎn)到h5文件 # 通過指定data_columns，建立額外的索引器 # 通過指定min_itemsize，設(shè)定存儲混合類型長度 store.append('df', df, data_columns = ['ComplaintType', 'Descriptor', 'Agency'], min_itemsize = {'values': 50})

?關(guān)于min_itemsize詳情，見：http://pandas.pydata.org/pandas-docs/stable/io.html#storing-types

總結(jié)

以上是生活随笔為你收集整理的python科学计算笔记（八）pandas大数据HDF5硬盘操作方式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。