Pandas / Groupby /应用优化

文章/答案/技术大牛

发布

1回答

python、pandas、pandas-groupby、pandas-apply

在pandas结构中使用重复的cols名称，基本上我正在尝试做与这篇文章相同的事情：非常感谢。

浏览 18提问于2020-07-30得票数 0

2回答

优化pandas groupby python

python、pandas、optimization、group-by、bigdata

在此数据帧中，我们还将附加计算出的特征：import numpy as npdf_result = pd.DataFrame] <= key_date) & (df['ID'] == ID)].groupby2 2015-06-30 1.0 2 1 2015-07-3

浏览 8提问于2017-07-25得票数 1

回答已采纳

1回答

在Pyspark中，当您groupBy与partitionBy中使用的列相同的列时会发生什么？

apache-spark、pyspark、pyspark-sql

现在我正在读回这些数据，并想先调用groupBy('ID')，然后再调用一个pandas_udf函数。我的问题是，既然数据是由ID分区的，那么groupBy('ID')会比没有分区的数据快吗？我担心groupBy操作会遍历每条记录，即使它们已经被分区。

浏览 1提问于2019-11-07得票数 0

1回答

使用ddof=1时熊猫群性病要慢得多，为什么？

python、performance、pandas、numpy、pandas-groupby

import pandas as pdtest = pd.DataFrame(np.random.rand(100000,10)) test = test.set_index(['date','group']) 100 loops

浏览 0提问于2018-03-29得票数 2

回答已采纳

1回答

如何将pandas.core.groupby.groupby.DataFrameGroupBy转换为dataframe？

python-3.x、pandas、pandas-groupby

我在DataFrame上应用了groupby，之后它将DataFrame转换为pandas.core.groupby.groupby.DataFrameGroupBy格式。如何将pandas.core.groupby.groupby.DataFrameGroupBy转换为常规DataFrame，或者如何从pandas.core.groupby.groupby.DataFrameGroupBy

浏览 7提问于2018-10-27得票数 1

1回答

Pandas Dataframe (内部)在同一Dataframe上加入

python、pandas、dataframe、join、merge

我正在研究如何对patstat (参考数据库)数据库进行集群。使用我自己的算法，我想出了一个数据框架，它显示了参考文献的作者、开始页、结束页、卷和publication_year。运行： dfhead = df.head(10) 向我展示 ? 现在我想要:使用相同的数据帧显示内部连接，例如，author，beginpage和endpage是相同的。(行之间至少有3个相似之处) 我试过了： c = ['author', 'beginpage','endpage', 'volume','publication y

浏览 12提问于2020-12-07得票数 0

1回答

删除groupby并优化pandas代码

python、pandas

我正在尝试替换for循环，以便在pandas中获得更好的性能。在pandas中使用for循环是性能杀手，请在许多博客中阅读它。现在，我必须应用一些逻辑来设置项目和按emp_id分组。代码块如下所示。我不能确定删除groupby，有没有其他技术可以让我获得更高的性能？emp_groups = self.df.groupby("emp_id") for _ridx in range(0, len(sel

浏览 4提问于2020-11-16得票数 0

5回答

熊猫群的意思是()不忽略NaNs。

python、pandas、dataframe、nan

如果我计算一个groupby对象的平均值，并且在其中一个组中有一个NaN(s)，那么NaNs就会被忽略。即使在应用np.mean时，它仍然返回所有有效数字的平均值。这里是一个简化的行为示例import numpy as npc.groupby('b').mean()b 2 3

浏览 0提问于2019-01-09得票数 11

回答已采纳

1回答

熊猫通过尝试优化几个步骤

pandas-groupby

我一直在尝试优化一个bokeh服务器，以便在Covid19上计算选定国家的实时统计数据。我发现自己重复了一个groupby函数来计算新列，并且想知道，在选择了groupby之后，我是否可以以类似的方式将它应用到多列上的.agg()？='pad', periods=7)with dfall.groupby(level=0) as gr: gr = g['cases'].cumsum()..'cum

浏览 3提问于2020-05-16得票数 0

回答已采纳

2回答

为什么tqdm.pandas()不能工作？-如何解决PanelGroupBy导入问题

python、pandas、pandas-groupby、tqdm

我想使用tqdm的应用函数。有替代吗？(tclass, *targs, **tkwargs)--> 613 from pandas.core.groupby.groupby: cannot import name 'DataFrameGroupBy' from 'pandas.core.groupby.groupby</e

浏览 1提问于2020-04-11得票数 3

回答已采纳

1回答

通过排除最后一行来优化groupby

pandas、pandas-groupby

我正在尝试将groupby -> mean应用于n-1行，然后将平均值分配给pandas中的第n行。下面是以下代码和所需的输出。它需要很长时间来运行，我想知道有谁知道如何优化它。import pandas as pd df = pd.DataFrame({'id': ['A', 'A', 'A', 'B', 'B', 'C'

浏览 16提问于2019-04-12得票数 0

回答已采纳

2回答

加快pandas* groupby应用*

python、pandas

我有一个数据帧，我想按一列对其进行分组，同时对其应用多个函数。不幸的是，这只是花费了太长的时间。我需要一些十倍的改进。我读过有关矢量化的文章，但我正在失去许多pandas的功能。sum_late_hours'])#,'ratio_receive','ratio_receive_tpn','distinct_tc','distinct_doc','ratio_tc','ratio_doc'])

浏览 0提问于2018-09-14得票数 0

1回答

有没有办法在groupby中优化pandas应用函数？

python、pandas-groupby

201601,201601,201602,201602,201603,201601,201604,201603,201601,201601,201602,201607)}) 获取所需df_2的代码： df1 = df_toy.groupbypd.Series).reset_index() df2 = df1.groupby我正在寻找优化</e

浏览 18提问于2019-02-12得票数 0

回答已采纳

1回答

使用用户定义的函数或向量化的函数替代优化Groupby.apply()

pandas、numpy、apply、pandas-groupby

我正在尝试优化或避免pandas Groupby.apply()方法，该方法接受我的用户定义函数并将其应用于每个ID初始数据帧2222 3 2 33333 NAN 2 3df_dedup = df.groupb

浏览 3提问于2019-07-04得票数 0

1回答

传递什么Pandas数据类型来在一个组中转换或应用

python、pandas

在尝试调试groupby函数应用程序时，我使用一个虚拟函数来为每个组“查看传递给函数的内容”的。(['category'])['data_1'].transform(f)df.groupby'])[['data_1', 'data_2']].transform(f) print '\n'

浏览 5提问于2013-12-19得票数 6

回答已采纳

1回答

熊猫群按性能/组合2个功能

python-3.x、pandas、numpy、performance、pandas-groupby

下面是一些要测试的虚拟数据(客户销售) result = df.groupby("Name").max() - df.groupby("Name").min() 是否可以将这两个group

浏览 1提问于2022-03-04得票数 1

回答已采纳

1回答

对pandas* groupby操作应用排序*

python、pandas

如何对pandas groupby操作应用排序？下面的命令返回一个错误，指出'bool‘对象不可调用11168155

浏览 1提问于2015-04-07得票数 14

回答已采纳

1回答

将一个数据帧拆分为多个数据帧，并对这些数据帧并行执行过程

python、multithreading、python-multiprocessing

我有一个数据框dfA。其中包含超过一百万条记录。我想根据'GROUP_ID‘将数据帧拆分成多个数据帧，然后对这些数据帧执行一些操作。此循环将基于唯一的组id创建数据帧。问题是，这段代码需要3天的时间才能运行，所以我想知道如何使用多进程并行来实现这一点。请指教 dftest = dfA.loc[dfA['GROUP_ID'] == group]

浏览 1提问于2018-01-31得票数 0

1回答

熊猫群及其自定义应用方法

python、pandas、pandas-groupby

from scipy import optimizeimport pandas as pd现在，我想在下面的测试df中将这个函数应用于每个使用熊猫-groupby创建的组： data1 data2 key1 key2 0 -0

浏览 0提问于2018-03-26得票数 1

2回答

Pandas dataframe在groupby agg之后有额外的标头

python、pandas、pandas-groupby

KLHL17我想对基因匹配的值进行平均，所以我使用 common_mouse = common_mouse.groupby

浏览 25提问于2018-08-23得票数 2

回答已采纳

点击加载更多