从差值大于5的点到下一行7000行创建pickle文件，每次差值大于5时重复创建。
例如，每次给容器加压时，我都需要创建酸菜文件。pickle文件的长度是我知道的行数(每次7000行)。rundf = df.ix[df.loc(df['pressure change']>=5): df.loc(df['pres
浏览 3提问于2018-01-23得票数 0
现在，我每次运行脚本时都会导入一个相当大的CSV作为数据帧。有没有一个好的解决方案可以让数据帧在两次运行之间持续可用，这样我就不必花费所有的时间来等待脚本运行？
浏览 1提问于2013-06-14得票数 397
回答已采纳
要创建一个大型熊猫DataFrame (其中dataframe中的每个条目都是一个浮点数，数据和数据按30,000行和几十个列的顺序排列)，可以通过调用以下命令在短时间内完成字典操作：df = pd.DataFrame(my_dict)
这个df对象创建得非常快(大约0.05秒)。另外，使用to_pickle和read_pickle可以快速地保存和回忆数据帧。
浏览 0提问于2018-02-28得票数 0
回答已采纳
import pickleimport pandas as pdfrom sklearn.decomposition我有几个大的数据集，它有30k列，行的范围从10k到40k。我正在尝试用之前拟合的主成分分析来转换数据集，然后根据单个数据帧的索引将其连接回它的行标签'X_1'。因为它是一个很大的数据
浏览 17提问于2019-02-19得票数 0
回答已采纳
3回答
存储和访问数据帧对象
、、、
我正在尝试读取一些excel文件作为熊猫数据帧。问题是它们非常大(大约2500行，列，直到excel表格中的'CYK‘标签，有14个)。 每次我运行我的程序时，它必须再次从excel导入文件。这会导致运行时间增长很多，目前它比15分钟多一点，到目前为止，程序除了导入文件之外，甚至没有做任何重要的事情。我希望能够只导入文件一次，然后将数据帧对象保存在某个地方，并使我的程序只在这些数据
浏览 33提问于2021-09-21得票数 0
有没有一种简单的方法将Pandas Dataframe中的pickle文件(.pkl)读取到R中？
一种可能是导出到CSV并让R读取CSV，但这对我来说似乎真的很麻烦，因为我的数据帧相当大。
浏览 0提问于2016-02-01得票数 32
回答已采纳
1回答
在python jupyter notebook中读取excel文件时，我正在尝试将pandas数据帧的列数据类型从object更改为float，每次尝试时都会收到ValueError: and‘t convert
浏览 0提问于2021-10-14得票数 0
我有一个运行pandas版本0.25.2的服务。此服务从数据库读取数据并将快照存储为csv查询的结果是一个包含一些非常大的日期时间值的数据帧。(如3000-01-02 00:00:00)之后，我使用df.to_csv(index=False)创建csv快照并将其写入文件
在安装了pandas 0.25.3的不同机器上，我将csv
浏览 18提问于2019-11-08得票数 1
回答已采纳
1回答
我有一个巨大的pickle文件，需要每3小时从一个每日数据文件( csv文件)更新一次。(还有50个附加字段)然后将该csv文件读取到另一个数据帧。然后添加两个dataframe并再次创建新的pickle。2.我需要将df1附加到df，只有df中的列
浏览 1提问于2015-11-24得票数 2
1回答
我正在尝试从一个.npy文件创建一个pandas数据帧，当使用np.load读取该文件时，将返回一个包含字典的numpy数组。我最初的直觉是提取字典，然后使用pd.from_dict创建数据帧，但每次都失败，因为我似乎无法从np.load返回的数组中获取字典。我也尝试过使用np.load('filename').item()，但是结果仍然无法被pandas识别为
浏览 1提问于2016-10-23得票数 2
回答已采纳
我正在运行一个python脚本，它可以粗略地汇总(半伪编码)如下：for json_file in json_files: del df, data, data_str
该过程迭代地创建数据框，将每个数据框保存到一个唯一的文件中。但是，我的内存似乎在这个过程中耗尽了，就好像del df, data, da
浏览 1提问于2016-10-12得票数 4
我有一个原始的熊猫数据帧，让我们叫它df。我将数据帧转换为csv文件，然后将其转换回pandas数据帧。当我调用df.equals(新数据帧)时，它返回false。我认为一个错误可能是索引可能关闭，所以我将新数据帧的索引设置为csv文件的第一列(这是原始数据帧的索引)，但仍然得到相同的结果。pd.read_cs
浏览 4提问于2017-11-28得票数 4
__getattribute__(self, name)
AttributeError: 'DataFrame' object has no attribute '_data' 我有效地从Oracle读取了一个数据帧，将其写入到一个pickle文件，然后读取pickle文件，也读取了昨天的pickle文件，然后在主键上执行连接。当代码在Windows中完全相同
浏览 29提问于2020-08-06得票数 3
1回答
我有一个循环，在这个循环中，每次迭代我都会将pandas数据帧导出到CSV文件中。问题是，正如你在第一张图片中看到的那样，我得到了一个输出，但我需要得到类似于第二张图片的输出。我的解决方案与在线找到的解决方案之间的唯一区别是，我的数据帧是从pickle文件构建的，但我认为这不是问题所在。for pickle_file in files:
key = pickle</
浏览 2提问于2021-10-13得票数 0
1回答
我有一个这样的结构；用来创建一个pandas数据帧：
my_dict = { 'name' : ["joe", "jack", "jill", "joan", "jesse","jacob", "jonas'designation': ["VP", "CEO", "CFO", "VP&q
浏览 6提问于2019-07-15得票数 0
回答已采纳
初始数据帧的.info <class 'pandas.core.frame.DataFrame'>Data columns<class 'pandas.core.frame.DataFrame'>Data columns (total所以现在我将我的数据帧
浏览 34提问于2020-04-19得票数 0
2回答
我一直在做一个项目，在这个项目中，我必须尽可能快地读取和处理数百万行的非常大的csv文件。os.system如何读
浏览 0提问于2019-01-15得票数 0
我正在尝试将每个worker节点(每个元素都是Pandas DataFrame的RDD )上的Pandas DataFrame转换为跨所有worker节点的Spark DataFrame。示例： def read_file_and_process_with_pandas(filename): """ here
浏览 31提问于2019-06-05得票数 0
回答已采纳
我正在尝试运行python代码来将数据从一个csv加载到另一个csv。我使用pandas将数据从提要csv加载到数据帧，然后将该数据帧附加到最终的csvimport csvimport time
while T
浏览 4提问于2017-02-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
