当我运行python库如pandas或scikit learn时，我试着通读并理解spark中的加速是从哪里来的，但我没有看到任何特别有用的东西。如果我可以在不使用pyspark数据帧的情况下获得相同的加速比，我可以只使用pandas部署代码，它的性能大致相同吗？我想我的问题是：
如果我有可用的pandas代码，为了提高效率，我应该把它翻译成PySpark吗？
浏览 2提问于2018-06-22得票数 0
2回答
让我们假设数据帧：col_1 col_2 col3 id2 val1 4 id4 val1 7 id2 val2 2 id4 val2 4 col2 == row[col2] AND col1 != row[col1]df=id1 val1 1
浏览 1提问于2018-06-19得票数 1
enter image description here我有一个熊猫数据帧，我想用两行之间的增量填充一列。每一行都是一天，我需要每天的更改。在过去，我已经通过循环遍历各行实现了这一点。有没有更好的方法来实现这一点？ Col1 Col213 3 8 -3
12 5 数据帧
浏览 27提问于2020-11-28得票数 0
1回答
比方说，我正在测量一辆汽车在单轴上向前移动的速度，每10分钟一个新的测量。现在假设我想要聚合我的数据，并且只有每小时的移动量，但我想尽可能优化我的代码，因为我的数据集非常大，那么实现这一目标的最有效的方法是什么？0 01/01/2018 00:00 92 01/01/2018 00:20 9
3 01/01/
浏览 8提问于2020-02-19得票数 1
回答已采纳
1回答
用户定义的function=> my_fun(x)：返回列表pandas_frame = pd.DataFrame() # Created empty data framefor index in range(0,len(XYZ)):
pandas_frame = pandas_frame.append(pd.DataFrame(my_fun(XYZ[i])).transpose我该怎么加速？
浏览 1提问于2018-03-24得票数 1
回答已采纳
1回答
我有许多相当大的cvs文件(每行1,000,000行)，其中包含一个DateTime列。我正在使用潘达斯枢轴表来总结它们。所涉及的部分内容是将这个DateTime变量拆分为小时和分钟。我正在使用下面的代码，它运行良好，但花费了相当长的时间(大约4到5分钟)。谢谢
df['hours'], df['minutes'] = pd.DatetimeIndex(df['DateTime']).hour, pd.DatetimeI
浏览 5提问于2016-06-05得票数 1
回答已采纳
2回答
我正在尝试使用pandas to_sql将数据上传到MS Azure Sql数据库，这需要很长时间。
浏览 116提问于2020-07-06得票数 0
回答已采纳
2回答
加速Excel数据到Pandas
、、、、
print("Data Manipulation: ", time.clock()-test_time)
因此，我尝试了几个不同的模块来读取excel文件，包括直接使用pandas.read_excel
浏览 0提问于2019-06-19得票数 11
回答已采纳
我有一个数据的Pandas DataFrame，其中以秒为单位的时间是索引，其他列是加速值。我希望总时间的加速度值大于60克。问题是加速度可能会在一段时间内高于60克，但会下降到低于60克，然后再次返回。我已经运行了下面的代码，将不大于或等于60的加速值设置为"NaN“。
浏览 1提问于2016-01-22得票数 1
2回答
我正在尝试使用Pandas的to_sql方法通过循环将多个csv文件上传到SQL Server数据库中各自的表中。在阅读了有关to_sql的“块大小”参数的文档后，我尝试将其降级到Pandas版本0.22，但在加速这一过程方面没有成功。
任何关于如何提高速度的提示都将不胜感激。谢谢。
浏览 1提问于2018-10-02得票数 0
3回答
我正在读取一个大的csv，它有大约1000万行和20个不同的列(带有标题名称)。目前，我大约需要1.5分钟来加载数据，如下所示：我想问的是，如何才能在读取数据时获得相同的数据帧，从而显著提高速度。我正在尝试读取的数据的子集(我选择了8列，并从实际的20列和两百万行中选择了3行)：
Date Comp Rating Pr
浏览 0提问于2017-03-12得票数 13
回答已采纳
我有一个Pandas数据帧，我想用以下方式进行转换:我有一些来自智能地板的传感器数据，它在"CAPACITANCE“列(被"，”拆分)，这些数据来自" device“列中指示的设备。
浏览 0提问于2019-05-14得票数 0
1回答
我在这里的另一篇文章中找到了以下代码(并对其进行了稍微修改)。它工作的很好，输出正如我所期望的那样，但是我想知道是否有人有关于速度提高的建议。我正在比较大约93,000行和110列的两个数据帧。完成groupby大约需要20分钟。我试着想办法加快速度，但没有遇到任何问题。我现在正在尝试在我的数据大小在未来增加之前考虑任何事情。我也愿意用其他方式来做这件事！def report_diff(x):
return 'SAME' i
浏览 1提问于2019-01-18得票数 3
我有一个优化问题。我需要加入一些csv (所有都有相同的结构)在一个独特的csv。 我的文件夹的结构遵循时间顺序:年/月/日/小时_文件_标识符.csv。因此，16y*365d*24h = 140160个文件。这是我可以拥有的最大文件数。每个按day建立索引的文件夹都可以有任意数量的文件(我也是用python脚本生成的)。由于文件数量将超过每N次迭代允许的ext4文件系统的最大数量，因此我需要连接hour_indexed文件中的所有文件，以避免遇到此问题。 因此，我称之为join_routine的输入是按时间索引的文件夹，例如： 2001/9/3/
2002/8/4/ 每个文件夹都可以包含不
浏览 10提问于2019-02-15得票数 2
回答已采纳
2回答
Pandas具有用于滚动和扩展计算的内置方法 下面是一个例子： import pandas as pdobs_per_g = 20obs =对于扩展sums，使用pandas方法cumsum几乎快了60倍(上面的例子是16s比280ms )，并将小时转换为分钟。df.groupby(level=0).cumsum() 在pandas中有没有快速实现滚动求和的方法，就像cumsum用于扩展求和一样？如果没有，我可以使用numpy来完成吗？
浏览 57提问于2019-07-04得票数 3
回答已采纳
1回答
有没有办法在不使用pip install的情况下将像pandas这样的Python库导入脚本？我已经尝试下载.whl文件或原始源代码，并尝试使用import pandas
我找到的应该是解决方案，但它不起作用。
浏览 2提问于2020-03-27得票数 2
我有一个这样的函数。我有一个单词的数据框架，我想测试这些单词是否在英语词典中。如果是，则返回True，否则返回False。 数据帧看起来像下面的单词猫狗标记lillly 如果我遍历函数，我想返回一个新的列 words is_englishdog truelillly false 我的函数如下： from nltk.corpus import words as nltk_words # creation of this dictionary would be done o
浏览 12提问于2021-11-08得票数 3
我想把像SQL这样的pandas应用程序用于web应用程序(而不是将数据保存在pSQL中，而只是将其保存在pandas DataFrame中，因为数据不到1 1GB，并且不会经常变化)。在SQL中，一个人会声明一个关于年龄和收入的索引来加速这样的查询，我想知道pandas做这件事的方式是什么。
浏览 0提问于2013-02-06得票数 3
回答已采纳
1回答
modin加速比是否适用于数据传输？跨Dataframe对应用功能进行并行化是否具有智能性，而不是逐行执行典型的应用功能？我们是否应该使用来加速应用功能？
浏览 3提问于2020-10-13得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
