關(guān)于你的第一個(gè)問題,我不能確切地說為什么這個(gè)例子很慢.但通常,apply不會(huì)利用矢量化.此外,apply返回一個(gè)新的Series或DataFrame對象,因此對于一個(gè)非常大的DataFrame,你有相當(dāng)大的IO開銷(我無法保證在Pandas有大量內(nèi)部實(shí)現(xiàn)優(yōu)化的情況下,這種情況是100％的情況).

對于您的第一種方法,我假設(shè)您嘗試使用p_dict作為查找表填充df中的“值”列.使用pd.merge快大約1000倍：

import string, sys

import numpy as np

import pandas as pd

##

# Part 1 - filling a column by a lookup table

##

def f1(col, p_dict):

return [p_dict[p_dict['ID'] == s]['value'].values[0] for s in col]

# Testing

n_size = 1000

np.random.seed(997)

p_dict = pd.DataFrame({'ID': [s for s in string.ascii_uppercase], 'value': np.random.randint(0,n_size, 26)})

df = pd.DataFrame({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})

# Apply the f1 method as posted

%timeit -n1 -r5 temp = df.apply(f1, args=(p_dict,))

>>> 1 loops, best of 5: 832 ms per loop

# Using merge

np.random.seed(997)

df = pd.DataFrame({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})

%timeit -n1 -r5 temp = pd.merge(df, p_dict, how='inner', left_on='p_id', right_on='ID', copy=False)

>>> 1000 loops, best of 5: 826 ?s per loop

關(guān)于第二個(gè)任務(wù),我們可以快速向p_dict添加一個(gè)新列,它計(jì)算時(shí)間窗口從min_week_num開始的平均值,并在p_dict中該行的一周結(jié)束.這要求p_dict按WEEK列的升序排序.然后你可以再次使用pd.merge.

我假設(shè)min_week_num在以下示例中為0.但您可以輕松修改rolling_growing_mean以獲取不同的值. rolling_growing_mean方法將在O(n)中運(yùn)行,因?yàn)樗看蔚鷪?zhí)行固定數(shù)量的操作.

n_size = 1000

np.random.seed(997)

p_dict = pd.DataFrame({'WEEK': range(52), 'value': np.random.randint(0, 1000, 52)})

df = pd.DataFrame({'WEEK': np.random.randint(0, 52, n_size)})

def rolling_growing_mean(values):

out = np.empty(len(values))

out[0] = values[0]

# Time window for taking mean grows each step

for i, v in enumerate(values[1:]):

out[i+1] = np.true_divide(out[i]*(i+1) + v, i+2)

return out

p_dict['Means'] = rolling_growing_mean(p_dict['value'])

df_merged = pd.merge(df, p_dict, how='inner', left_on='WEEK', right_on='WEEK')

總結(jié)

以上是生活随笔為你收集整理的python panda apply_python – Pandas – 关于apply函数缓慢的解释的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。