在Python3.7.4中打开1.5 in左右的大Zip文件时获取MemoryError
错误是由于内存不足导致的。当打开一个大的Zip文件时，Python会尝试将整个Zip文件加载到内存中进行处理，但是如果文件过大，内存可能无法满足这个要求，从而导致MemoryError错误的发生。
为了解决这个问题，可以采取以下几个方法：
- 使用逐个文件处理的方式：不直接打开整个Zip文件，而是逐个文件地处理。可以使用Python的zipfile模块中的ZipFile对象，使用它的extract()方法逐个文件进行处理。这种方式可以避免一次性将整个Zip文件加载到内存中，从而减少内存消耗。
- 增加系统内存：如果你的系统有可扩展的内存，可以尝试增加系统的物理内存或者虚拟内存。这样可以提供更多的内存资源，以满足打开大Zip文件的需求。
- 压缩文件大小：如果可能的话，可以尝试将大Zip文件进行压缩，减小文件的大小。这样可以减少内存的消耗。
- 使用内存映射文件：Python的mmap模块可以将文件映射到内存中，实现文件的部分加载，从而减少内存的使用。可以使用mmap模块的mmap()函数将大Zip文件映射到内存中，然后逐个文件处理。
在腾讯云中，可以使用以下相关产品来处理大Zip文件：
- 腾讯云对象存储（COS）：可以将大Zip文件上传到COS中，然后通过分片下载的方式进行处理，避免将整个文件加载到内存中。更多信息请参考：https://cloud.tencent.com/product/cos
- 腾讯云函数计算（SCF）：可以使用SCF来处理大Zip文件，将其分片处理，减少内存消耗。更多信息请参考：https://cloud.tencent.com/product/scf
以上是对于在Python3.7.4中打开1.5 in左右的大Zip文件时获取MemoryError的解决方法和腾讯云相关产品的介绍。希望对你有帮助！
相关·内容
我正在运行以下代码来计算ZIP文件的CRC32 buf = open("C:\\users\\Raj\\temp\\ZIPs\\XXX.ZIP",'rb').read() MemoryError 如果我重新启动机器，它可以正常工作，并且在多次运行此命令后，我得到相同的错误 这是我用来计算大于1.5 GB的ZIP文件的CRC的
浏览 20提问于2019-10-17得票数 0
我正在打开一个大的CSV文件，在将数据插入到我得到的MemoryError数组中时。那么，如何读取CSV文件的特定行(例如，从第1行到第10000行)datafile=open('test.csv','r')
datareader=csv.reader(datafile
浏览 0提问于2014-09-23得票数 1
回答已采纳
我想用python打开并处理一些大的.mat文件。scipy.io.loadmat函数非常适合于此目的。但是，当.mat文件很大时，该函数返回MemoryError。这个问题可能是由于我使用的python版本(Python 2.7.10 32位，与spyder接口)造成的。这个问题已经被提出了，但我找不到任何像样的解决方案。理想情况下，我可以在不更改python的情况下打开
浏览 2提问于2016-10-05得票数 0
import shapefileshapes = data.shapes()我还能采取什么别的办法吗？可以在P
浏览 1提问于2016-09-22得票数 0
回答已采纳
1回答
我有一个1.5Gbitrar文件，当我打开它时，它会给我13 Gbite .txt文件，而且我不能用任何东西加载它。name.txt', sep='\t')我在Pycharm中使用了它，它花了很长时间，并且给出了
我使用colab<
浏览 9提问于2022-07-03得票数 0
回答已采纳
1回答
我正在编写一个不能发布所有代码的进程，但我将开始概述它并对其进行序言，在编辑和压缩时，比如10 - 20文档，这很好。所以会发生什么：(大多数情况下)用户单击一个链接，Jquery将一个ajax请求提交给一个php文件
php文件接受一个文件名数组，转到sql表，并获取磁盘上的文件位置。然后将文件添加到我打开的zip文件夹中，它会重复这个过程，直
浏览 2提问于2014-02-14得票数 0
回答已采纳
当我试图保存、保存为或打开VBA编辑器时，特定的xlsm工作簿会崩溃。我尝试过禁用宏，删除自动计算等等。实际上，我无法通过代码查看是否有错误导致崩溃，原因是编辑器本身导致崩溃。编辑:还忘了提到文件中还有其他工作簿的链接，但是删除保存时的自动更新/计算似乎没有帮助。而且，我能够修改工作簿，只是无法执行宏、保存或打开VBA编辑器。
Edit2:一些额外的信息。我尝试删除所有工作表，但仍然存在相同的</e
浏览 0提问于2015-12-08得票数 0
上下文：每周都会收到一个html文件形式的实验室结果列表。每周大约有3,000项结果，每组结果有2至4个与之相关的表。对于每个结果/试验，我只关心存储在其中一个表中的一些标准信息。问题:当我一次处理每个文件时，下面的代码工作得很好。也就是说，我没有对目录执行for循环，而是将get_data = open()指向特定的文件。但是，我想获取过去几年的数据，而不想单独处理每个文件</e
浏览 1提问于2015-04-27得票数 3
1回答
web应用程序有一个按钮来打开一个大的.zip文件(例如100 MB)。例如，当在Android手机上使用chrome浏览器操作时，我可以在web应用程序中提取.zip文件并打开它。我想做同样的，但使用移动应用程序。
我可以使用<
浏览 1提问于2021-10-23得票数 0
回答已采纳
我今天从软件中心安装了7zip，但它不会出现在发射栏(侧栏)。我做了很多，但没有从任何地方打开7zip“窗口”。我用破折号点击了它，然后我被送到软件中心，显示它已经安装好了。我只是不知道怎么开始。也不显示在右击菜单中。📷
如果我想移除7zip，那就是说文件滚筒也
浏览 0提问于2012-09-20得票数 4
回答已采纳
我有相当多的+- 4 GB的文本文件，当我在Python中一次读取它们时，它会给我一个MemoryError (尽管从PC性能来看，它甚至没有接近最大内存)。当遍历文件时，脚本变得慢得多。有没有人有办法快速轻松地读取这么大的文件？或者增加Python中的内存限制？
谢谢。
浏览 0提问于2014-02-27得票数 0
3回答
这就是我要找的：
我需要打开一个图像的zip文件并遍历它的内容。首先，zip容器文件有子目录，其中一个"IDX“包含我需要的图像。我可以将zip文件内容解压到一个目录中。我的zip文件可能非常大，就像GB大小一样，所以我希望能够打开文件，并在每次迭代处理图像
浏览 0提问于2010-07-08得票数 3
回答已采纳
1回答
我正在编写一个VBScript，试图将不同位置的多个目录压缩到同一个Zip文件中。我当前使用的解决方案是遍历我想要压缩的目录(目前有2个)，获取文件对象，并使用copyHere方法将源文件夹复制到具有适当头文件格式的zip文件中。
这部分似乎工作正常，我遇到的困难是错误检查。我在网上找到的唯一两个解决方案是<e
浏览 8提问于2017-07-09得票数 1
1回答
我有一个非常大的zip文件，其中包含其他zip文件。我希望我的c#程序能够识别出这个文件是一个zip文件，如果它是一个zip文件，那么将它解压到与zip文件相同位置的文件夹中。我的密码在这里：
private void Unzip(OpenFileDialog tvZipOp
浏览 0提问于2013-11-05得票数 2
回答已采纳
我刚开始使用python，我正在编辑一个需要打开文件的程序，但是它超过了1.5GB，所以我得到了内存错误。jpg' % (count) fw.write(jpg) start = x2+2tdata = f.read()
部分。如何在读取时修改函数以拆分文件？
浏览 1提问于2018-05-14得票数 0
回答已采纳
当我尝试在Java中运行我的代码时，我得到一个错误。我正在尝试将输出运行到一个文件，在该文件中，用户使用对话框输入姓名、工资率和工作时间。这是我的代码： }
w
浏览 1提问于2014-04-01得票数 0
我有一个大小为1.5GB的压缩文件。因此，我希望将文件解压缩为流，并访问文件的范围(就像可以通过普通文本文件的头和尾)
浏览 0提问于2018-01-09得票数 20
回答已采纳
3回答
我在本地主机上有这个URL：http://localhost:7777/somesite/sites/default/files/devel-7.x-1.5.zip，并且想要获取c:\xampp\htdocs\somesites\default\files\devel-7.x-1.5.zip。正如这个问题中提到的 ech
浏览 6提问于2015-08-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
