选择包含Pandas数据帧中的值的行的最快方法是什么？

文章/答案/技术大牛

发布

2回答

python、string、pandas、performance

我目前正在遵循这里列出的查找值的说明，并且它是有效的。唯一的问题是我的数据帧非常大(5x3500行)，我需要执行大约2000次搜索。Most concise way to select rows where any column contains a string in Pandas dataframe?有没有比这更快的方法来搜索所有包含字符串值

浏览 5提问于2019-02-02得票数 6

回答已采纳

2回答

将Pandas数据帧中的行值设置为等于不同数据帧中的行值

python、pandas

我有两个数据帧，它们都有相同数量的列，并包含文本数据。问题是第二个dataframe中的数据缺少细节：1 Bob Hoskins3 Tom Jones 1 Bob x3 Bob x5 Laura x在Pandas<em

浏览 0提问于2016-07-02得票数 2

1回答

提高非常大的数据帧上的迭代性能

python、pandas、dataframe、iteration、list-comprehension

我有一个pandas数据帧，它由300万行和50列组成，所有列都包含整数(正数或负数)。我想创建一个名为'feature‘的新列，它从现有的50列中提取最大的负数。例如，如果对于给定行，50列包含以下值“feature”列应返回-1。因为我的数据帧太大了，所以我尝试的

浏览 3提问于2019-07-17得票数 1

回答已采纳

1回答

将行保存在dataframe中，其中每个列表中的值位于列表中

python、pandas、dataframe

我有一个数据帧，如下所示。import pandas as pd data = {'Name':['Tom', 'nick', 'krish', 'jack'],4,67,3,4,53,32", "7,3,44,2,5,6,9", "8,9,23", "9,36,21,32"]} # Create DataFrame

浏览 14提问于2019-11-14得票数 0

回答已采纳

3回答

如何将DASK数据帧放入MySQL数据表？

python、dask、dask-dataframe

我从CSV文件中获取了数据，并将其保存在我的Dask数据帧中并对其进行操作。然后，我需要将数据写入数据表。我还没有真正遇到过任何解决方案。Pandas的to_sql函数具有内置的功能，所以我不确定是否需要首先转换为Pandas？我目前认为，将Dask数据帧转换为Pandas会导致它被完全加载到内存中，这可能会违

浏览 4提问于2020-03-27得票数 1

1回答

根据另一列中的in列表替换另一列的值

python、pandas

我想要替换Store列的值，但只替换列表中的特定in (这可能是一个包含数千个in的列表) ID# Fruit Store 6789 Apple Trader Joe's 7890 Kiwi Shop Rite 我只希望列表'1234‘，'6789'，'7890’中

浏览 14提问于2020-10-09得票数 0

回答已采纳

2回答

如何检查pandas数据帧中的每一列是否为浮点型或是否可以转换为整数

python、pandas

我正在将csv文件加载到pandas数据帧中，编辑它们并再次将其导出为csv (随着时间的推移，对许多不同的csv重复此过程)。有时，数据帧包含浮点值，而浮点值应该是整数，这导致我的导出最终无法使用。在下面的示例中，col_1只包含整数(并且只包含0和1)。col_2也只包含0和1，但作为浮点数。col_3<

浏览 273提问于2021-01-19得票数 0

回答已采纳

3回答

检查dataframe是否包含零元素

python、pandas、dataframe

在pandas数据帧中，检查是否至少有一个元素为0的最快方法是什么？假设数据是：A 10 20我需要返回true，因为至少有一个元素是0。数据帧中有一个元素，而不是每行/列有一个元素

浏览 0提问于2018-06-09得票数 7

回答已采纳

3回答

一种高效串联熊猫DataFrames的方法

python、numpy

我有10个DataFrames，它们的行数相等，每个数据帧都有自己的一组唯一列(没有在任何数据帧之间共享)。我想简单地将数据帧串行地添加在一起，这样最终的数据帧就包含了所有数据帧中包含的所有列。最终数据帧的第一行将

浏览 0提问于2017-08-07得票数 0

回答已采纳

2回答

通过合并多个长度未知的数据帧来创建数据帧

python、pandas、dataframe、concat

我正在尝试对棒球场地的F/x数据进行一些分析。所有的俯仰数据都存储在一个pandas数据帧中，其中包含像“俯仰速度”和“X位置”这样的列。我有一个包装器函数(使用pandas.query)，对于给定的音高，它将找到具有类似速度和位置的其他音高。此函数返回未知大小的pandas数据帧。我想在大量

浏览 1提问于2015-03-07得票数 0

3回答

将python迭代器输出转换为pandas数据帧的最快方法

python、pandas

我有一个生成器，它返回未知数量的数据行，我希望将这些数据转换为索引的pandas数据帧。据我所知，最快的方法是将CSV写入磁盘，然后通过'read_csv‘解析回来。我知道创建一个空的dataframe，然后不断地追加新的行是没有效率的。我不能创建预置大小的dataframe，因为我不知道将返回多少<

浏览 1提问于2017-03-24得票数 12

1回答

有没有一种通过列表理解来迭代两个数据帧的更快方法？

pandas、dataframe、list-comprehension

我有两个数据帧，一个包含屏幕名称/显示名称，另一个包含个人，我正在尝试创建第三个数据帧，每次屏幕名称/显示名称中出现姓氏时，在新行中包含来自每个数据帧的所有数据。从功能上讲，这将创建一个可能匹配的名称列表。我当前的代码运行得很好，但运行速度非常慢，如下所示： # Original Social Media S

浏览 0提问于2016-04-11得票数 1

2回答

选择具有特定ID值的数据帧行的最快方法是什么？

r、optimization、dataframe

现在我正在分析一些数据和其中所有id值都是整数。然而，在使用更大的数据集时，我取得了令人失望的缓慢结果。我有没有办法加快这个具体的任务？

浏览 2提问于2015-04-01得票数 0

回答已采纳

1回答

pandas奇特的索引和合并

python、pandas

在通过花哨的索引过滤后，将更改合并回pandas数据帧的最简单方法是什么？d[

浏览 0提问于2013-01-13得票数 4

1回答

从数据帧中删除包含早于固定日期的日期的所有行

python、loops、datetime

我正在尝试从我的数据帧中删除一年前发生的行的所有行。我做错了什么，做我想做的事情最快的方法是什么？到目前为止，我的代码如下： import pandas as pd xls = pd.ExcelFile('/Users/thomasmurray/

浏览 12提问于2021-06-24得票数 0

回答已采纳

3回答

从熊猫数据框架中选择多行，其中一个列包含一些值，如NaN

python、pandas

选择列'A‘、'B’的行，其中列'C‘的行包含python中的NaN值(Pandas) I有三列“A”、“B”、“C”的熊猫数据框架。在“C”列中有一些包含NaN值的行。现在，我想选择数据帧的列'A‘和'B’

浏览 6提问于2019-12-23得票数 0

回答已采纳

2回答

在连接多列中的值时迭代Pandas* Dataframe的最快方法*

python-3.x、pandas、dataframe、series、concat

我想知道是否有一种更好的方法来迭代pandas数据帧并连接不同列中的值。，我想以最快的方式完成这项工作。做这件事最好的方法是什么？我获取路径(子目录和基本文件名)的一部分，并在迭代数据帧时将它们连接起来。我还可能会从其他相邻的列(如示例中的“text”)获取

浏览 0提问于2020-06-27得票数 0

2回答

如何在python中使对象成为dataframe

python、python-3.x、dataframe

我已经实现了以下部分代码：它应该是由从先前导入的数据集中提取的两个向量组成的数据帧。我使用参数i，因为这段代码是循环的一部分，循环使用一个预定义的函数来分析一个固定变量[0]和其他变量之间的相关性-每次迭代都会检查与不同变量[i]的相关性。我需要这个对象是一个数据帧(下一步是使用.d

浏览 1提问于2019-07-09得票数 0

1回答

将R data.table转换为pandas.DataFrame的最佳方法？

python、r、pandas、data.table

在您的经验中，将R data.table帧转换为Pandas数据帧的最佳方法是什么？我研究了不同的选项，如hdf5 (3个库)、rpy (似乎没有此功能？)，并决定问受人尊敬的社区:您有任何代码片段来完成它的最快、最简单和最可靠的方式吗？最好是r和python代码片段。

浏览 3提问于2016-08-22得票数 5

回答已采纳

1回答

用Python模拟在线决策

python、pandas

在每次迭代中，我希望从已知的数据帧中读取新的行，并根据它做出决定。另外，我想保存我使用的数据帧的最后n行。不幸的是，即使是遍历各行也非常慢。import numpy as nps1 = np.random.randn(20

浏览 0提问于2018-01-03得票数 0

点击加载更多