2回答
我经常尝试做groupby和mutate的R等效项，但正如许多人指出的那样，简单地使用groupby和apply会受到严重的性能问题的影响。所以我的问题是，在pandas中对数据帧进行分组的最佳(最高性能)方法是什么，然后根据该组中的一些条件，根据一些计算添加一个新列？(我已经搜索了很久，但我没有找到任何关于如何使用numpy向
浏览 14提问于2017-07-31得票数 1
回答已采纳
在Python Pandas中，我想通过对多个列执行多个聚合函数来添加列，比如R mutate_each。例如，Python Pandas能否实现与以下R脚本相同的处理？%>% mutate_each(funs(min, max, mean), starts_with("Sepal"))
然而，我能够实现与使用Pandas的变异体相同的处理。R d
浏览 3提问于2017-10-18得票数 5
我正在尝试替换for循环，以便在pandas中获得更好的性能。在pandas中使用for循环是性能杀手，请在许多博客中阅读它。现在，我必须应用一些逻辑来设置项目和按emp_id分组。代码块如下所示。现在，下面的代码可以工作，但是抱怨与性能有关。我不能确定删除groupby，有没有其他技术可以让我获得更高的性能？emp_groups = self.df.groupby</em
浏览 4提问于2020-11-16得票数 0
1回答
所以，我尝试了一些关于找到变异系数的想法，每个ID，但是到目前为止还没有结果。我想我可以把它添加到我现有的数据文件中，就像这样。如果我尝试将结果添加到一个新的数据框架中，就像这样。].mean()下面是我正在使用的一些示例数据。import pandas as pd# initialize list of lists
data = [[110
浏览 1提问于2021-05-17得票数 0
回答已采纳
2回答
我想要计算大量组的滚动总和，但我在快速计算时遇到了问题。Pandas具有用于滚动和扩展计算的内置方法 下面是一个例子： import pandas as pdobs_per_g = 20obs =(level=0).expanding().sum()
df.groupby(level=0).rolling(window=5).sum() 但对于数量非常多的组来说，这需要很长的时间。对于扩展s
浏览 57提问于2019-07-04得票数 3
回答已采纳
1回答
为什么在pandas中，从32m行数据帧中获取组的这三种方法的性能存在差异。df = df.groupby(["a", "b", "c"]).groups
df = df.index
df =df.groupby(
浏览 0提问于2016-07-18得票数 0
这几天我一直被groupby和apply加速的问题困扰着，下面是代码：我想要一个运行时更少的更新代码，如果这个问题有解决方案，我将非常感激。
浏览 0提问于2021-05-24得票数 0
1回答
我正在尝试将我的应用程序的一部分从pandas移植到dask，但在dask DataFrame上的groupby中使用lamdba函数时遇到了障碍。import dask.dataframe as dd
dask_df = dask_df.groupby).agg({'AGE' : lambda x: x * x })
此代码失败，并显
浏览 3提问于2016-11-28得票数 6
我想快速检查一下根据ID和时间信息分组的结果。我能做这些 df.groupBy('ID').orderBy('Time') 但是我不能在这之后添加show，因为show()既不是orderBy也不是groupBy的属性。
浏览 48提问于2021-05-08得票数 1
1回答
根据上的Pandas文档对组键排序。通过关闭这个来获得更好的性能。注意，这并不影响每一组中观察的顺序。Groupby保留每个组中行的顺序。这并不能真正描述当sort=False时，组的顺序是否是随机的，或者在groupby之前保留原来的顺序。对火星的行为有什么见解吗？
浏览 5提问于2022-04-06得票数 2
我有大约1000万行数据，并试图按Power中的数据按几个列分组。我试着用"Group“按钮的Power编辑器来完成这个任务，但是性能大约需要15-20分钟。然后，为了提高性能，我尝试了Pandas groupby函数，但是结果只是显示值。我的脚本是：data = data.groupby(['date', 'client ', 'product'] ).sum()
浏览 1提问于2022-05-07得票数 0
1回答
frame_1为空，并且包含与frame_2中的Sample列关联的唯一Sample列。我想用基于Sample列从frame_2计算出的产品填充frame_1，然后生成一个Max_prod列。这些框架如下所示： 计算产品前的frame_1 ID Sample prod_1 prod_2 prod_3 Max_prod10 1 120000 20000 30000 120000
1 2
浏览 16提问于2020-12-23得票数 0
回答已采纳
我希望通过在6核macbook pro上使用Dask dataframe而不是Pandas来提高性能。然而，Dask的执行速度与Pandas数据帧一样慢，大约需要5分钟。ddf = ddf.set_index(ddf.index, sorted = True)
paired = ddf.
浏览 1提问于2019-07-12得票数 0
我有一个大约有16,000行的数据帧，我正在对一列执行最大聚合，并按另一列对其进行分组。df.groupby(['col1']).agg({'col2': 'max'}).reset_index()df.groupby(['col1']).agg({'col2': 'max'}).reset_ind
浏览 0提问于2020-03-22得票数 0
"/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/tqdm/_tqdm.py"，第613行，在pandas.core.groupby.groupbyimport DataFrameGroupBy中，\ ImportError:无法从'pandas.cor
浏览 6提问于2019-12-19得票数 3
2回答
我有一个数据集，其中包含三种动物的摄食数据，包括动物的标签I (1,2,3)，在每次“用餐”时给出的饲料类型(A，B)和数量(kg)：Animal1R中，我可以很容易地输出下面有unique('Animal')作为其行、unique('FeedType')作为其列以及相应的矩阵单元格中的累积Amount (kg)的矩阵，如下所示
o
浏览 0提问于2014-01-03得票数 7
回答已采纳
我想了解熊猫使用category背后的微妙之处。我创建了一个随机的三列DataFrame，通过import numpy as np
RangeIndex: 100000 entries, 0 to 99999
Data columnscat
浏览 0提问于2016-07-21得票数 1
我正在使用Pandas处理一个大的CSV文件(>600MB)。并执行多个group by以获得数据集中各个变量的频率统计信息(类似于SAS中的PROC FREQ )。但是Pandas把系统挂起来了。有没有办法让Pandas不加载到内存中，而是在磁盘中处理它们，这样系统性能就不会被占用？或者任何有效处理的建议都是很棒的？convert_to_string, &
浏览 13提问于2017-02-09得票数 0
回答已采纳
我想使用dask 2.14扩展我在熊猫数据帧上所做的一些操作。例如，我想对数据帧的一列应用移位：data = dd.read_csv('some_file.csv')data['column_B'] = data.groupby(['column_A'])['column_B'].shift(-1)
但是我得到了
浏览 7提问于2020-05-05得票数 5
回答已采纳
也许我的问题看起来很复杂，但本质上很简单。我是Python的新手，现在我面临着代码太慢的问题。下面是代码的优化版本。我将非常感谢一个小的代码审查和关于如何加速它的建议。我认为最慢的操作是.apply(lambda和grouping，但我不知道如何替代它们。SalesDate']), axis=1) grouped = data.<e
浏览 2提问于2018-10-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
