点击上方“视学算法”，选择加"星标"或“置顶”
重磅干货，第一时间送达
作者 | 杰少
来源 | kaggle竞赛宝典
编辑 | 极市平台
导读
现在的dask，cudf包的出现，我们的数据处理得到了大大的加速，但不是很贵的人比较好gpu，非常多的朋友仍然可以使用pandas工具包，但等真的很无奈，熊猫的许多问题我们都需要使用apply函数来进行处理，而apply函数是非常缓慢的，本文我们就介绍如何加速apply函数600倍的技巧。
现在的dask，cudf包的出现，我们的数据处理得到了大大的加速，但不是很贵的人比较好gpu，非常多的朋友仍然可以使用pandas工具包，但等真的很无奈，熊猫的许多问题我们都需要使用apply函数来进行处理，而apply函数是非常缓慢的，本文我们就介绍如何加速apply函数600倍的技巧。
实验对比
01 应用（基线）
我们以应用为案，原来的应用程序处理下面这个问题，需要18.4 秒的时间。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(0, 11, size=(1000000, 5)), columns=('a','b','c','d','e'))
def func(a,b,c,d,e):
if e == 10:
return c*d
elif (e < 10) and (e>=5):
return c+d
elif e < 5:
return a+b
%%time
df['new'] = df.apply(lambda x: func(x['a'], x['b'], x['c'], x['d'], x['e']), axis=1)
CPU times: user 17.9 s, sys: 301 ms, total: 18.2 s
Wall time: 18.4 s
02 迅捷
因为处理是并行的，所以我们可以使用Swift进行加速，在使用Swift之后，相同的操作在我的机器上可以提升到7.67s 。
%%time
# !pip install swifter
import swifter
df['new'] = df.swifter.apply(lambda x : func(x['a'],x['b'],x['c'],x['d'],x['e']),axis=1)
HBox(children=(HTML(value='Dask Apply'), FloatProgress(value=0.0, max=16.0), HTML(value='')))
CPU times: user 329 ms, sys: 240 ms, total: 569 ms
Wall time: 7.67 s
03 矢量化
使用Pandas和Numpy的避免应用方法是将函数直接化。如果我们的操作是可以直接直接化的话，那么我们就很简单的使用
- 用于循环；
- 列表处理；
- 应用等操作
在将上面的问题转化为下面的处理之后，我们的时间为：421 ms
%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 134 ms, sys: 149 ms, total: 283 ms
Wall time: 421 ms
04 类别转化+类别化
我们先将上面的类别转化为int16型，再进行相同的操作，发现时间为：116 ms
for col in ('a','b','c','d'):
df[col] = df[col].astype(np.int16)
%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 71.3 ms, sys: 42.5 ms, total: 114 ms
Wall time: 116 ms
05 转化为值处理
在能转化为.values的地方典型转化为.values，再进行操作。
- 这里先转化为.values等价于转化为numpy，这样我们的操作会更快捷。
于是，上面的操作时间又被延迟为：74.9ms
%%time
df['new'] = df['c'].values * df['d'].values #default case e = =10
mask = df['e'].values < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'].values < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 64.5 ms, sys: 12.5 ms, total: 77 ms
Wall time: 74.9 ms
实验总结
通过上面的一些小技巧，我们将简单的长大了，具体地：
- 应用：18.4 秒
- 应用 + Swifter：7.67 秒
- 熊猫矢量化：421 毫秒
- Pandas 矢量化 + 数据类型：116 毫秒
- Pandas 向量化 + 值 + 数据类型：74.9ms
参考文献
https://towardsdatascience.com/do-you-use-apply-in-pandas-there-is-a-600x-faster-way-d2497facfa66
如果觉得有用，就请分享到朋友圈吧！
点个在看 paper不断！