编辑 | sunlei
发布 | ATYUN订阅号
假如在此刻,您已经将数据全部加载到panda的数据框架中,准备好进行一些探索性分析,但首先,您需要创建一些附加功能。...Swifter
Swifter是一个库,它“以最快的可用方式将任何函数应用到pandas数据帧或序列中”,以了解我们首先需要讨论的几个原则。...np.array([1,2,3,4,5])
array_2 = np.array([6,7,8,9,10])
你希望创建一个新的数组,这是两个数组的总和,结果如下:
result = [7,9,11,13,15]
在Python...因为apply只是将一个函数应用到数据帧的每一行,所以并行化很简单。您可以将数据帧分割成多个块,将每个块提供给它的处理器,然后在最后将这些块合并回单个数据帧。
The Magic
?...可以看到,无论数据大小如何,使用向量化总是更好的。如果这是不可能的,你可以从vanilla panda那里得到最好的速度,直到你的数据足够大。一旦超过大小阈值,并行处理就最有意义。