问题/问题 我喜欢过滤/减少轨迹数据，只保留每个给定的方块大小的第一次出现。 下面我有一个例子，它可以工作，但对于我正在查看的数据大小(~100_000 id和更多的时间步长)来说太慢了。所以我的问题是如何有效地做到这一点，也许更短和更干净？ 代码示例 在这个例子中，过滤器只删除一行(参见最后一步，索引"1")。另外，最终结果的</e
浏览 34提问于2021-01-16得票数 2
回答已采纳
我看过，但我还没有找到任何关于Python的建议，特别是关于使用Spyder控制台的建议。然后，例如，将所有文件连接到一个数据帧中： df = pd.read_csv(filenameindex_col=None, he
浏览 15提问于2021-06-10得票数 0
如何在数据帧上循环并创建新的数据帧，以模式命名并仅包含该模式。例如，对于像这样的数据帧： df= pd.DataFrame({'X': ['hello', 'hi', 'hello', 'salut','hi', 'hi',
浏览 46提问于2020-04-23得票数 0
回答已采纳
正如主题所建议的，如何用lapply/map/etc编写以下操作以提高R的效率？for(i in 1:length(tbl)){}
其基本思想是从列表的每个元素(数据帧)中过滤第7列，这样输出只能给出在所有数据帧的第7列中容纳10或更大的
浏览 2提问于2022-03-17得票数 0
回答已采纳
当我运行python库如pandas或scikit learn时，我试着通读并理解spark中的加速是从哪里来的，但我没有看到任何特别有用的东西。如果我可以在不使用pyspark数据帧的情况下获得相同的加速比，我可以只使用pandas部署代码，它的性能大致相同吗？我想我的问题是：
如果我有可用的pandas代码，为了提高效率，我
浏览 2提问于2018-06-22得票数 0
1回答
我相信在使用Dask数据帧时，我在Dask教程中看到了一个关于如何使用Dask框架中尚未实现的Pandas函数的建议，但我似乎看错了地方。例如，我想使用Pandas函数'ewm‘。作为一种变通方法，我将Dask数据帧转换为Pandas数据帧，在Pandas数据帧上运行ewm，然后将它们转换回Dask，以便以后进行更多内
浏览 10提问于2019-06-02得票数 1
回答已采纳
"RSI": "75.3214" "2021-04-30": { }0 2021-05-24 75.13542 2021-05-14 78.1510pandas默认的数据帧<
浏览 0提问于2021-05-25得票数 0
我正在尝试从一个稀疏的numpy矩阵创建一个SparseSeries列表。创建lil_matrix很快，并且不消耗大量内存(实际上，我的维度更多的是数百万，即1500万个样本和400万个特征)。但这个解决方案似乎也消耗了我所有的内存，冻结了我的电脑。从表面上看，熊猫SparseSeries并不是真的稀疏，还是我做错了什么？最终目标是在此基础上创建一个SparseDataFrame (就像在我提到的其他主题中一样)。from scipy.sparse import lil_matrix,
浏览 1提问于2015-05-21得票数 1
我正在处理一些大小在1 1Gb到2 1Gb之间的CSV文件。仅将文件加载到pandas数据帧就需要20-30分钟，而我执行的每个操作都需要20-30分钟，例如按列名过滤数据帧，打印dataframe.head()等。我用的是2019 Macbook Pro，但我想其他设备也是一样的。有什么方法可以让我工作得更有效率吗？
提前感谢您<
浏览 0提问于2021-09-12得票数 2
2回答
存储、加载和写入
、、、、
我有一个很大的python值字典(大约50 GB)，并将其存储为JSON文件。当涉及到打开文件和写入文件时，我遇到了效率问题。我知道您可以使用ijson高效地读取文件，但是我如何高效地对其进行写入呢？任何帮
浏览 1提问于2018-12-25得票数 6
1回答
但是，我希望提高代码的性能和效率。代码中的import pandas as pd df.loc[indx] = matrix_computed.T
数据</em
浏览 0提问于2020-09-09得票数 4
回答已采纳
我想将一个特定的工作表连接到pandas DataFrame中(所有工作表的名称都相同)。我遇到的问题是，每个工作表中的列名称并不完全相同。我使用pandas编写了一段代码，但它的工作方式是将所有值连接到pandas数据框中的同一列中，但基于列的名称。所以举个例子:有时我有一列叫做: FgsNr，有时叫做FgNr --两列中的数据类型和含义完全相
浏览 29提问于2021-08-10得票数 0
3回答
数据帧比较
、、
我有一个工作的强力嵌套的循环解决方案，用于比较两个数据帧并得到一个工作的解决方案。我想要更有效率。假设我在下面的示例中有两个数据帧。如何将df2中的所有数据(作为字符串)附加到df1不等于df2的df1中。import pandas as pddf1=pd.DataFrame({'Col1' : [&#x
浏览 36提问于2018-01-05得票数 0
回答已采纳
我有两个大的数据帧要相互比较。我对其中一列执行了.split(" ")操作，并将结果放入数据帧的新列中。现在，我想检查并查看新列中是否存在值，而不是使用原始列中的.contains()，以避免在单词中提取该值。编辑
浏览 1提问于2020-03-10得票数 0
1回答
我想用两个图像数据集同时训练一个CNN模型。1类:火灾2类:非火灾Dataset2(gray_scale-imagesize(120,120,1))->class-1:Fire 2类:非火灾 模型输出:Fire(类)或Non_Fire(类) 我的数据集链接，其中使用的两个数据集是非图像数据，因此我无法理解如何将此代码应用于我自己的问题。**谁能帮助我如何使用以下示例代码在我的两个数据集上运行f
浏览 116提问于2020-11-27得票数 1
2回答
我需要从一个pandas系列(来自下面的dataframe中的'amino_acid‘列)创建一个频率字典，它还为字典中的每个条目添加一个相邻的行(来自'templates’列)。，我目前迭代数据帧的方法似乎效率很低，甚至是反模式。我如何提高效率/使用最佳实践来实现这一点？我目前的方法是： sequence_counts = {}
seqs = lis
浏览 14提问于2019-06-24得票数 0
回答已采纳
2回答
如何在一个命令中过滤Pandas数据帧中的行并仅获取pandas数据帧中的列的子集。我正在试着应用像这样的东西...谢谢。
浏览 0提问于2015-10-02得票数 17
回答已采纳
我正在寻找复制数据帧行的最有效的解决方案。每一行都应该复制x次，其中x对于每一行都是唯一的。假设这是我给定的数据帧：|----|-------|| b | 2 |因此，数据帧应该如下所示，，但对于具有数千行的大型数据帧来说效率不是很高。由于每
浏览 1提问于2020-08-24得票数 4
1回答
我的数据集是巨大的。无论如何，我会过滤tabularDataset中的数据，而不是转换为pandas数据帧。我使用下面的代码来读取数据。由于数据量巨大，pandas数据帧正在耗尽内存。我不需要将完整的数据加载到程序中。有没有办法在转换为pandas数据框之前
浏览 69提问于2021-01-06得票数 1
我从一个大约50K行和5列的Pandas数据帧创建了一个Dask数据帧：然后我将一堆列(~30)添加到dataframe中，并尝试将其转换回Pandas dataframe：我查看了文档，如果我没有指定num_workers，它将默认使用我的
浏览 1提问于2017-07-28得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
