我想知道为什么Pandas可以分块打开gzip压缩文件，而Dask必须在处理之前将整个文件加载到内存中。我认为gzip文件不能分块操作，因为它们需要在分区之前解压缩。但是，我能够使用Pandas的chunk方法处理gzip文件，没有任何问题。另外，由于我将来想使用Dask，你能
浏览 15提问于2020-11-12得票数 0
我可以在内存中解压缩一个小的GZip文件，但是在运行它的云盒上有内存限制。我可以通过分块(大约32k)来解决这个问题。有没有一种简单的方法可以拆分一个GZip压缩文件而不需要通读它？谢谢，马克
浏览 6提问于2016-08-10得票数 0
这些文本文件以gzip格式压缩。
但是，我认为这可以进一步优化我相信gz
浏览 7提问于2016-01-29得票数 1
回答已采纳
我们使用Apache Camel来压缩和解压缩我们的文件。我们使用标准的.marshal().gzip()和.unmarshall().gzip() API。我们的问题是，当我们得到真正大的文件，比如800 we到1GB以上的文件大小时，我们的应用程序就会耗尽内存，因为整个文件都被加载到内存中进行压缩和解压缩。是否有camel apis或java库可以帮助压缩/解压缩文件，而不需要在内存中加载整个文件。
还有一个类似的未回答的问题
浏览 6提问于2018-05-11得票数 3
回答已采纳
我有大量的.Z压缩文件，散落在不同的目录中，需要查看其中文件的大小。我不打算解压缩所有的.Z文件。是否有方法查看内容(通常是一个文件)的大小？我只知道只有zcat，其中只有猫的文件。谢谢!史蒂夫
浏览 0提问于2023-02-08得票数 0
回答已采纳
1回答
我想下载一个压缩文件(在gzip或bzip2中)，解压缩它并分析它的内容(它是一个具有大量数据的类似CSV的文件，我在下载时计算和、平均值等)(这样我就可以在下载结束之前显示部分结果)。文件很大(4GB)，解压缩流更大，所以我不想将整个压缩文件保存在磁盘或内存中。我认为可以将python的gzip或bz2实现与urllib2结合起来：
浏览 8提问于2013-03-22得票数 3
回答已采纳
当使用打开文件并解压缩到内存中时，在perl耗尽内存之前，这个文件可以轻松地填满2 2GB的内存。open FOO, "<:gzip", "file.gz" or die $!;显然，这是在perl中轻松打开this文件的一种非常方便的方法，但是它占用了大量的空间！我的下一步是将文件解压缩到HD，
浏览 1提问于2010-10-05得票数 5
回答已采纳
3回答
但是输入文件是.gz压缩格式(fastq.gz)，我需要先解压缩吗？zless XXX.fastq.gz |split -l 4000000 prefix然而，它似乎不能与前缀"-prefix“一起工作(我试过了
浏览 3提问于2011-08-02得票数 1
2回答
我在多个文件夹中有.gz压缩文件，这些文件都在一个名为"usa“的主文件夹中。我能够使用下面的代码提取一个单独的文件。import gzipsource=r"C:\usauc300.dbf.gz"with gzip.open(source,"rb") as f_in, open(output,"wb") as f_out:
s
浏览 6提问于2017-08-09得票数 2
回答已采纳
4回答
我从ftp下载了许多大型gzip文件(大约10 be 200 be)供解压缩。 } }
它适用于50 of以下的任何文件，但是一旦输入超过50 of，我就会从内存异常中得到系统异常前的最后位置和内存长度为134217728。我不认为它与我的物理内存有关，我知道我不能拥有超过2GB的对象，因为我使用3
浏览 6提问于2012-05-03得票数 6
回答已采纳
类似地，gzip是否有任何提取方法来将gzip成员(根据标准只包含一个文件)获取到指定的目录，或者是否有解决方法？
编辑:我不想将完整的文件读入内存
浏览 9提问于2018-03-02得票数 0
回答已采纳
如果在gzip 3/boto3 3中给出一个大型的对象，那么在python3 3/boto3 3中有什么内存效率(例如流)方法来解压缩数据并将结果存储回另一个S3对象？
前面有一个。但是，所有的答案都使用了一种方法，在这种方法中，gzip文件的内容首先被读入内存(例如ByteIO)。这些解决方案对于太大而不适合主存的对象来说是不可行的。对于大型S3对象，需要读取、解压缩“动态”的内容，然后将其写入
浏览 8提问于2020-10-20得票数 5
回答已采纳
1回答
如何更有效地存储内存？
、、、、
如果我有一个使用gzip压缩的大数据文件，比如dat.gz，那么还有什么更有效的内存呢？mydat <- fread("gunzip -c dat.gz")mydat <- fread("dat")
我关心的是记忆而不是速度，以防止R
浏览 1提问于2017-04-26得票数 3
回答已采纳
它应该是一个被压缩成gzip文件的文本文件。当我解压缩时，我得到了一个损坏的文件。我运行了以下命令：结果是并且我再次在解压缩部分上运行了file命令。$ file document.txt.gzdocument.txt: gzip compres
浏览 0提问于2018-05-25得票数 4
15回答
我正在尝试以编程方式解压缩一个压缩文件。但是，由于我可以通过手动双击压缩文件，然后单击“解压缩所有文件”-button来解压缩文件，因此我认为在代码中也应该有这样做的方法。因此，我尝试使用Process.Start()，并将压缩文件的路径作为输入。这会导致我的应用程序打开一个窗口，显示压缩文件中的内容。这一切都很好，但这个应用程序将安装在一个没有服务器的服务器上，然后单击“解压缩所有文件”-butt
浏览 18提问于2009-05-07得票数 250
回答已采纳
1回答
假设我在内存中有两个单独的gziped html块。我可以发送chunk1+chunk2到HTTP客户端吗？有没有浏览器支持这个功能？或者没有办法做到这一点，我必须压缩整个流，而不是单个块？v0.10.7)：var zlib = require('zlib');zlib.gzip(new Buffer('test1'), function(err, data){
chunk1 =
浏览 6提问于2013-05-25得票数 5
1回答
有没有人知道可以从.gz压缩文件中提取文件的与JRuby 1.6.5兼容的gem？
谢谢!
浏览 1提问于2012-11-20得票数 1
回答已采纳
1回答
我在web服务器上有一个gzip文件。只有在有足够的磁盘空间来解压缩文件时，我才想下载该文件。在下载文件之前，有可能知道解压缩大小吗？
但是，该文件需要下载。如果我知道解压缩的大小，我想避免文件下载。
浏览 1提问于2018-08-29得票数 2
回答已采纳
7回答
我有一个3TB的.gz文件，想要在C++程序中逐行读取它未压缩的内容。由于文件非常大，我希望避免将其完全加载到内存中。
有没有人能贴出一个简单的例子？
浏览 0提问于2010-07-08得票数 24
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
