我有一个大约7 7GB大小的JSON数据，我只想读取其中的几行数据(而不是所有数据)。当我打印所有数据时，出现内存错误。 我试着用pandas和numpy打印它，但是我不能打印它。
浏览 40提问于2019-01-24得票数 1
回答已采纳
1回答
我对Python非常陌生，我试着读取一个jpg文件，并将其作为一个简单的实践来编写。这个文件不是很大，只有142个KBytes，但是当我使用50000字节的缓冲区块来读取并将它写入new.jpg文件时，它给出了有限的空间错误，并占用了我桌面上C:\驱动器中剩余的4GB空间，并且从未释放该内存如何查看和释放<em
浏览 4提问于2016-01-05得票数 0
回答已采纳
我试图读取一个文本文件并将每一行都存储到ArrayList中，但是，文本文件太长(大约2,000,000行)，出现了错误: java.lang.OutOfMemoryError。如何知道arraylist是否已满，然后创建另一个arraylist自动存储剩余数据？谢谢你的帮助。
浏览 0提问于2015-11-29得票数 4
因此，我尝试使用PHP读取一个大的csv文件(大约64000个条目)，并将其堆叠到一个大数组中
使用fopen()和fgetcsv，我成功地读取了大部分文件，尽管它突然在条目51829处停止，没有明显的原因我签入了我的数组和CSV，数据导入正确，csv和数组中的51829行是相同的，等等。你们知道为什么我不能读完所有的文件吗？这是我的代码^^，提
浏览 2提问于2012-01-27得票数 1
1回答
我有一个Python程序，可以读取文件行并对其进行分析。该程序有意将许多行读取到RAM中。我读到Python没有限制内存，那
浏览 0提问于2019-12-22得票数 0
我正在编写一个代码，我需要将txt文件中的句子数据集转换为csv文件。下面是我的代码，可以很好地将输入的txt文件转换为csv文件的格式。 csv.writer(out_fi
浏览 1提问于2015-03-05得票数 0
回答已采纳
我知道我不应该立刻把整个文件读入内存，但我不会这么做的。我想也许我是在做一些记忆很重的事情--循环中的东西，然后把所有的东西都扔掉，直到我剩下这个： for line in f:pass我也尝试过使用islic
浏览 4提问于2015-09-13得票数 1
回答已采纳
1回答
我有两个进程A和B都是用不同的语言编写的。--读取一个文件，对其进行一些处理，并将其保存在内存中一段时间。我希望将已处理的数据(数组缓冲区)尽快传输到处理B，以便对其进行更多的处理，并最终将其返回给处理A。我想出了三种不同的方法：
进程vice-versa.Using 写入和读取文件: process A将数据写入处理B读取的文件</em
浏览 1提问于2022-08-12得票数 0
我需要从URL中读取一个非常大的jsonl文件，我使用的方法如下所示 url = bulk_status_info.getfile = urllib.request.urlopen(url) print(json.loads(line.decode("utf-8")))
然而，我的CPU和内存有限，这就引
浏览 2提问于2021-06-23得票数 0
我有一个大文件文件(~1.5GB ~430.000行)。程序逐行读取文档文件，并将每一行插入rethinkdb中。但是我得到了11000到12000行之间的错误。原因是什么？ThreadPoolExecutor.java:957) java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1367) ~na:1.8.0_171<em
浏览 0提问于2018-05-17得票数 0
2回答
看看web.py：的这个页面，注意它是如何将文件写到磁盘上的。我认为python文件写函数将整个文件读取到内存中，然后由
浏览 3提问于2011-09-04得票数 0
回答已采纳
我需要在我的xml中的每个标签中添加"\n“，这样我才能正常地查看文件(文件中大约300,000行合并成1行(用EmEditor打开，显示了16行))
然而，当我尝试读取文件并替换标签时，它给出了内存错误我可以编辑一个文件并绕过Python上的内存错误</e
浏览 0提问于2019-08-21得票数 1
4回答
我用Python打开一个3 GB的文件来读取字符串。然后，我将此数据存储在字典中。我的下一个目标是使用这个字典构建一个图表，这样我就可以密切监控内存使用情况。在我看来，Python将整个3 GB的文件加载到内存中，我无法摆脱它。我正在使用Ubuntu，并且我已经在终端中使用了“系统监视器”和“空闲”命令来监控内存使用情况。
我不明白的是，为什么在
浏览 0提问于2012-09-14得票数 17
我正在尝试将视频与Python中的独立音频文件合并。我将视频和音频作为字节存储在内存中，我想知道如何允许ffmpeg-python合并它们。通过ffmpeg.concat和使用ffmpeg.input从磁盘读取文件，我已经看到了这一点，但是当我的程序下载这些文件时，它将它们作为字节对象保存在内存中。我尝试将字节对象传递到ffmpeg.concat
浏览 61提问于2022-10-30得票数 1
我关于Python的问题。我有一个txt文件：[6,7,8,9,10][16,17,18,19,20]这里的每个列表都是文件中的新行我想逐行读取文件，但是每一行都应该是python list，换句话说，如果我为第一行写了print list1，list必须给<
浏览 1提问于2015-03-01得票数 2
我正在运行用于机器学习的大型数据集，而我的笔记本电脑内存有限(8 8GB) Python给出了这个错误 MemoryError: Unable to allocate 1.34 GiB for anfloat64 当我运行这行代码时 df_features = df_features.pivot(index='RepID', columns='Code', values='Frequency') 如何<
浏览 38提问于2020-06-19得票数 0
回答已采纳
我有一个非常大的XML文件，其中包含40,000个标记元素。当我使用元素树解析这个文件时，由于内存的原因，它给出了错误。那么，python中有没有什么模块可以读取数据块中的xml文件，而无需将整个xml加载到内存中?我该如何实现该模块？
浏览 3提问于2012-02-12得票数 6
回答已采纳
在一次采访中，一位面试官问我为什么readline()比Python中的readlines()慢得多？我不知道我的答案是否正确。如果我的答案是正确的，那么花费是多少？PS:我知道readline()和readlines()之间的区别！
readlines()一次读取整个文件，而readline()只能读取</em
浏览 2提问于2014-04-09得票数 11
回答已采纳
当我运行Parent.py (调用子进程child.exe )时，会发生以下错误SyntaxError: Non-UTF-8 code startingwith '\x90' in file child.exe on line 1, but no encoding declared; see http://python.org/dev/peps/pep如果我从已发送的空闲运行Parent.py，则
浏览 1提问于2011-12-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
