非字节对齐数据的gzip压缩
是一种数据压缩算法，用于将数据文件或数据流进行压缩，以减小存储空间或传输带宽的占用。gzip压缩算法是一种无损压缩算法，可以将数据压缩为gzip格式的文件。
非字节对齐数据是指数据在存储或传输过程中，不是按照字节对齐的方式进行排列。字节对齐是指数据按照字节的整数倍进行排列，例如每个数据项占用4个字节，那么数据在存储或传输时会按照4字节的倍数进行排列，确保数据的对齐性。
gzip压缩算法可以对非字节对齐的数据进行压缩，但在压缩过程中可能会导致压缩率下降。这是因为gzip压缩算法是基于字节对齐的数据结构设计的，对于非字节对齐的数据，可能会导致额外的填充字节，从而增加了压缩后的数据大小。
在实际应用中，非字节对齐数据的gzip压缩可以用于压缩各种类型的数据，包括文本文件、图像文件、音频文件等。压缩后的数据可以减小存储空间的占用，也可以减少数据在网络传输中的带宽消耗。
腾讯云提供了云压缩服务，可以对非字节对齐数据进行gzip压缩。该服务可以通过API调用或者使用SDK进行集成，具有高效、稳定的压缩能力。您可以通过腾讯云云压缩产品介绍页面了解更多信息：腾讯云云压缩产品介绍。
相关·内容
我在社交网络应用程序上工作，我的工作是编写应用程序的REST API，并为应用程序提供数据。我写了我的代码，并将我的代码部署在amazon服务器上。对于访问，我使用AWS API网关访问REST API端点/web服务。现在，我想以压缩文件的形式发送我的json响应，为此，我研究了gzip和其他一些压缩方法。现在，我想确认一下如何在amazon api网关上实现gzip，以及在网关上实现gzip是否正确，或者网关本身是否可以管理它，因为应用程序开发人员使用amazone模型进行数据解析。
浏览 1提问于2018-08-15得票数 0
我是一名实习生，研究在软件中使用Brotli压缩是否比使用GZip的当前版本提供了性能提升。
我的任务是使用GZip更改任何使用Brotli压缩的内容。我需要替换的一个函数进行检查，以测试缓冲区是否包含使用GZip压缩的数据。它通过在开头和结尾检查流标识符来做到这一点：
bool isGzipped() const
{
// Gzip file signature (0x1f8b)
return
(_bufferEnd >= _bufferStart + 2) &&
(static_cast<unsigned char
浏览 5提问于2016-08-18得票数 5
回答已采纳
1回答
我正在研究Gzip的内部工作，我知道它使用了和的组合。
我还意识到，Gzip文件被划分为块，每个块都有一个为其构建的字典。然后，类似数据的频繁出现被指向字典中位置的指针所取代。
因此，在“马与其他马赛跑”这个短语中，horses一词将被指针所取代。
但是，如果我有一个32位整数的数组，但它只存储多达24位的数字，该怎么办？为了论证起见，让我们说，这24位数是非常随机的，很难压缩，很难找到重复。
这将使每个整数的前8位易于压缩0的字符串，但每个字符串都需要一个指针，每个指针仍然占用一定数量的数据。即使是一个1位指针(我知道它比实际可能的要小)仍然占原来空间的12.5%。
当数组可以很容易地简化为
浏览 1提问于2018-05-27得票数 2
回答已采纳
2回答
我正在寻找关于如何从数据文件中获取这个gzip的一些指导。
$ file cut6
cut6: data
$ binwalk cut6
DECIMAL HEXADECIMAL DESCRIPTION
.......................................
1 0x1 gzip compressed data, from FAT filesystem (MS-DOS, OS/2, NT), NULL date (1970-01-01 00:00:00)
我试了几样东西，只是想看看我能不能幸运，但没有骰子。
$ gzip -d cut6
gzip
浏览 0提问于2019-07-03得票数 2
我正在为web内容实现Deflate和GZip压缩。.NET框架DeflateStream的性能非常好(它的压缩效果不如SharpZipLib，但速度要快得多)。不幸的是，它(以及我所知道的所有其他库)缺少一个写预压缩数据的函数，比如stream.WritePrecompressed(byte[] buffer)。
利用该功能，可以在流中插入预压缩块。这可以减少用于压缩此部分的cpu负载，并增加web服务器的总吞吐量。
有没有能做到这一点的托管库？或者，除了ComponentAce的ZLIB.NET之外，还有什么好的起点可以做到这一点吗？
浏览 0提问于2009-09-11得票数 2
回答已采纳
我有一个熊猫数据框架，叫做df。
我想将其保存为gzipped格式。实现这一点的一种方法是：
import gzip
import pandas
df.save('filename.pickle')
f_in = open('filename.pickle', 'rb')
f_out = gzip.open('filename.pickle.gz', 'wb')
f_out.writelines(f_in)
f_in.close()
f_out.close()
但是，这需要我首先创建一个名为filename.pi
浏览 0提问于2012-10-23得票数 12
我正在考虑使用ruby来压缩我的HTML，但是我们已经在为GZIP文件提供服务了，我想知道是否通过同时进行HTML压缩和GZIP来减少所提供的文件大小，或者这是完全没有意义的。
浏览 0提问于2019-07-17得票数 2
回答已采纳
我正在尝试读取一个大的AWS压缩对象(Gz).I不想读取整个对象，想要读取它的一部分，以便我可以并行处理未压缩的数据我正在读取它与“范围”头的GetObjectRequest，我正在设置字节范围。然而，当我给出一个介于(100,200)之间的字节范围时，它会失败并返回"Not in GZIP format“失败的原因是，AWS请求返回一个流，但是当我将它解析为GZIPInputStream时，它失败了，因为"GZIPInputStream”期望第一个字节(GZIP_MAGIC = 0x8b1f)确认它是gzip，而gzip不存在于流中。
GetObjectRequest
浏览 86提问于2020-05-28得票数 1
回答已采纳
1回答
我有一个asp.NET 4 (C#)的网站。
我正在试图找到一种更好地优化我的网站带宽的方法。
我看过很多文章说DEFLATE比GZIP更快更小，因为GZIP (基于DEFLATE)增加了一些额外的数据。
检查bing.com和google.com的报头，它们似乎都发送了GZIP编码的数据。
假设我读到的是真的，我错过了GZIP在这种情况下的优势。因此，我怀疑应该有一个很好的理由更倾向于GZIP而不是通货紧缩。
我的问题：
我不知道GZIP有没有比更好的优势？为什么主要的搜索引擎都使用GZIP?
下面是我用来发送DEFLATE的代码(来自Global.asax)：
protected void
浏览 97提问于2011-08-30得票数 43
回答已采纳
我在一个byte[]中有一堆数据，我使用这样的GZipStream压缩它。
byte[] input = ...;
var zipped = new MemoryStream();
using (var zipper = new GZipStream(zipped, CompressionMode.Compress, true)) {
zipper.Write(input, 0, input.Length);
}
由于我的技术要求，我需要将结果分成--比方说-- 50k块，这样每个块就可以被解压缩，并还原出相应的原始数据块。
如果我只分割结果byte[]，那么块将不再形成有效的GZip存
浏览 0提问于2017-07-16得票数 2
回答已采纳
2回答
我很难理解这个标题是如何工作的。
简单地说我的问题是
如果我向某些资源请求一个帖子，那么假设在第一个案例中，响应是一些json字符串，在第二个例子中，响应是一个.jar文件。
1.客户端是否应该在发送HTTP请求时包含accept-header:gzip，在这两种情况下，同时考虑到第一个结果是json字符串？
2.如果响应已经压缩，那么现在将响应压缩到已经压缩的数据上不会造成问题呢？
3.如果我在接收到json字符串的第一种情况下包含了accept-编码:gzip，会发生什么情况。因此，我接收压缩数据作为我的响应(我甚至不确定是否得到压缩数据或某些编码数据作为响应，我认为压缩数据意味着压缩的东
浏览 3提问于2017-12-11得票数 0
4回答
这就是问题所在。我有大约60KB大小的sample.gz文件。我想解压缩这个文件的前2000个字节。我遇到CRC检查失败的错误，我猜是因为gzip CRC字段出现在文件的末尾，并且它需要整个gzip压缩文件来解压缩。有没有办法绕过这个问题？我不关心CRC校验。即使我无法解压，因为错误的CRC，这是可以的。有没有办法解决这个问题并解压缩部分.gz文件？
到目前为止，我拥有的代码是
import gzip
import time
import StringIO
file = open('sample.gz', 'rb')
mybuf = MyBuffer(file
浏览 2提问于2009-11-14得票数 8
回答已采纳
您可以在Java中做两件事：
响应HTTP请求发送一个gzipped主体
向HTTP请求发送StreamingOutput响应，在此您在了解整个响应之前就开始发送响应(例如，从数据库读取条目)
根据我的测试，您可以同时做这两件事--即，在您知道整个数据之前，gzip是一个数据流。
如何能够gzip一个不完整的流？我对压缩的理解有限，例如，它用一个字节替换了最常见的单词。但是，要弄清楚哪个词是“最常见的”，就需要了解整个数据集。对吗？
浏览 0提问于2019-06-26得票数 6
回答已采纳
根据wiki的说法，deflate和gzip中的压缩数据是相同的。唯一的区别是页眉和页脚？在gzip中，页脚似乎有一个校验和，而用deflate压缩的文件没有这样的项。
有人能解释一下这件事吗？
浏览 0提问于2012-04-07得票数 1
回答已采纳
我有一个非常大的gzipped文件目录，我需要它来计算未压缩的大小。正如我所说的不仅仅是600GB (压缩的)，我认为解压缩每个文件以验证大小并不是正确的方法。
在Unix shell上，我使用命令gzip -l轻松地完成了这项任务，将每个文件列在一个具有压缩比、压缩大小和未压缩大小的文件夹中。
不过，我发现的与GZIP相关的Java库只是用于压缩和解压缩的流。
如果gzip命令可以在不接触文件的情况下检索该信息，那么我假设必须在文件的某些类型的头上指定该数据。在不解压缩文件的情况下，如何访问这些信息？
浏览 3提问于2015-01-07得票数 2
回答已采纳
2回答
可以使用stdin/stdout在bash中压缩/解压缩字符串吗？
我试过了，但显然不支持？
hey=$(echo "hello world" | gzip -cf)
echo $hey # returns a compressed string
echo $hey | gzip -cfd
gzip: stdin is a multi-part gzip file -- not supported
我不太精通linux，但我阅读了其他压缩实用程序的手册页，却找不到解决方案？
浏览 0提问于2011-09-24得票数 12
回答已采纳
1回答
我不是保安专家。我听说不建议为HTTPS请求启用GZIP压缩，这将打开一个安全问题(请参见答案：https://stackoverflow.com/a/4063496/17307650和https://en.wikipedia.org/wiki/BREACH)
我在HTTPS中有一个API端点，浏览器在请求正文中发送一个大的JSON有效负载。GZIP能够大大提高性能，将JSON从1.2MB缩减到56 to。
我没有在服务器上启用GZIP，而是实现了一个可接受的折衷方案，通过HTTPS发送一个“正常”的XHR/Fetch请求，使用gzip (二进制内容)对请求体进行压缩。
不过，我想知道，这会不
浏览 0提问于2022-06-08得票数 0
回答已采纳
我有这个问题，因为我需要为压缩数据分配输出缓冲区。我想知道压缩算法(例如gzip、zip或snappy)的输出比输入的值小多少？
浏览 6提问于2012-11-16得票数 1
我正在试图弄清楚为什么我的一些javascript文件使用gzip压缩而另一些则没有。
压缩：
未压缩：
在我的Nginx配置(/etc/nginx/nginx.conf)中的"http“部分中，我有：
gzip on;
gzip_comp_level 5;
gzip_http_version 1.0;
gzip_proxied any;
gzip_min_length 1100;
gzip_buffers 16 8k;
gzip_types text/plain text/css application/x-javascript text/xml application/xml ap
浏览 2提问于2014-04-25得票数 1
回答已采纳
我有一个web应用程序运行在一个非常低的web服务器上(CPU: ARM926EJ-S，RAM: 128 if )，当我在nginx上启用gzip时，我发现服务器需要更长的响应时间，我不知道配置是否有问题。
configuration:
gzip on;
gzip_vary on;
gzip_proxied any;
gzip_comp_level 3;
gzip_buffers 16 8k;
gzip_http_version 1.1;
gzip_min_length 256;
gzip_types text/plain text/css a
浏览 0提问于2022-11-16得票数 0
1回答
我有一个大型HTML文件，我使用gzip提供压缩文件。我注意到浏览器在HTTP响应完成之前就开始显示文件中的内容。您可以在命令行上模拟这一点：
curl -v -H 'Accept-Encoding: gzip' --limit-rate 2K 'http://www.theguardian.com/uk' | gzip --decompress
我想了解浏览器是如何做到这一点的。我对压缩的理解是整个文件都是压缩的，您需要一个完整的响应来解压它，但这显然是不正确的。
浏览器是如何将响应解压缩为“块”的？这和压缩技术有关吗？
浏览 2提问于2015-09-27得票数 5
回答已采纳
2回答
启用gzip压缩对Time-to-first-byte (TTFB)有什么影响？
我的假设是，在处理请求时，apache服务器无法开始以部分方式流式传输响应，因为gzip需要完整的响应才能进行压缩。这是否意味着启用gzip压缩会增加TTFB？
谢谢。
浏览 1提问于2012-07-23得票数 2
回答已采纳
1回答
给定某些数组array()的字符或字节长度，是否有方法知道结果的压缩长度/大小？
下面是一个示例代码。
Dim c() As Byte
Using memory As System.IO.MemoryStream = New System.IO.MemoryStream()
Using gzip As System.IO.Compression.GZipStream = New System.IO.Compression.GZipStream(memory, System.IO.Compression.CompressionMode.Compress, True
浏览 3提问于2017-01-26得票数 0
回答已采纳
使用pako()在javascript中进行压缩的代码。它能压缩绳子
var compressedString = pako.gzip('t', {level: 4, to: 'string'}));
$.ajax('/decompress', {string: compressedString})
/decompress上执行解压缩的代码
from cgi import parse_qs, escape
import json
import zlib
def application(environ, start_response):
s
浏览 4提问于2016-12-05得票数 1
回答已采纳
10回答
这与类似，但答案不能满足我的需要，我的问题略有不同：
目前，我对一些包含排序数据的非常大的文件使用gzip压缩。当文件未被压缩时，二进制搜索是支持查找排序数据中某个位置的一种方便而有效的方法。
但是当文件被压缩时，事情就变得棘手了。我最近发现了的Z_FULL_FLUSH选项，它可以在压缩过程中用于在压缩输出中插入“同步点”(inflateSync()随后可以从文件中的各个点开始读取)。这是可以的，尽管我已经拥有的文件必须重新压缩才能添加此功能(奇怪的是，gzip没有此选项，但如果必须的话，我愿意编写自己的压缩程序)。
从看来，即使是Z_FULL_FLUSH也不是一个完美的solution...
浏览 6提问于2009-01-09得票数 68
回答已采纳
我正在windows平台上用C++编写一个程序。我想压缩存储在char[]数组中的一些数据，并将其输出到一个文件中，稍后我将把该文件上传到unix服务器，我希望它可以被gzip -d解压缩。
经过大量的研究，我选择了。此外，我还找到了gzip文件格式。
下面是创建gzip文件的代码片段：(对不起，我没有给出一些变量的定义；它们是在其他地方定义的)
unsigned long zsize;
zpkg[0] = 0x1F;
zpkg[1] = 0x8B;
zpkg[2] = 8;
zpkg[3] = 0;
zpkg[4] = 0;
zpkg[5] = 0;
zpkg[6] = 0;
zpkg[7]
浏览 7提问于2015-08-26得票数 6
回答已采纳
1回答
如果我运行
dd if=/dev/zero bs=8192 count=1000000 | gzip --best >test.gz
我得到了一个7950131字节的输出文件。所以压缩比约为1/1000。然而，我预计gzip使用游程长度编码+霍夫曼编码，因此至少会达到1/100000。为什么它对全零文件没有更好的压缩效果？
浏览 0提问于2013-05-28得票数 9
回答已采纳
1回答
由于缺乏压缩知识，我无法对所谓的“可拆分”编解码器有一个清晰的了解。对于实例、gzip和bzip2，我确实看到在对大约400M的gzip文件运行MapReduce时，它只打开一个映射器，而对于bzip2，它打开4个映射器。 让gzip不可拆分的根本问题是什么？我听说gzip是不可拆分的，因为它将“元数据”存储在文件头中，而bzip2则存储每个块的“元数据”。 如果这是阻止gzip可拆分的唯一问题，为什么不简单地让所有gzip解压程序线程首先转到文件头来获取“元数据”，然后每个线程负责压缩文件的一部分？ 另一个问题是，对于bzip2，它将文件分成多个块。有没有可能一条记录(如果我们以文本文件为
浏览 22提问于2021-07-14得票数 1
回答已采纳
1回答
我正在尝试从.gz文件中读取json对象。
以下是代码：
with gzip.open("C:/Users/shaya/Downloads/sample.gz", 'rb') as fin:
json_bytes = fin.read()
json_str = json_bytes.decode('utf-8')
data = json.loads(json_str)
print(data)
我得到了这个错误：
JSONDecodeError: Extra data: line 1 column 2 (char 1)
jso
浏览 5提问于2020-12-13得票数 1
1回答
自定义解压缩函数BASH
、、、、
因此，为了切入我正在创建的脚本的要点，我需要创建一个自定义函数，该函数可以从STDIN获取压缩数据，并将未压缩数据通过管道传输到STDOUT，而不管压缩类型是什么。
示例: blah blah解密材料| custom_uncompress | other_program
使用gzip我可以这样做："gzip -d -c“或者lzo的"lzop -d -c”，但我不知道它有什么压缩，也不能从文件中读取魔术数字，因为它是加密的。
浏览 3提问于2015-06-25得票数 0
这个文件非常大(38 it，RVL-CDIP数据集，)，我使用以下技巧下载了它：
当我使用tar -xvf rvl_cdip.tar.gz时，我得到以下错误
gzip: stdin: not in gzip format
tar: Child returned status 1
tar: Error is not recoverable: exiting now
我也尝试过gunzip，它返回了同样的错误。老实说，我不知所措。
浏览 55提问于2021-02-18得票数 0
2回答
众所周知，GZIP或DEFLATE (或任何压缩机制)有时会增加文件大小。是否有一个最大(百分比或常量)文件可以增加？那是什么？
如果一个文件是X字节，我要将它压缩，我需要预先为文件空间进行预算--最坏的情况是什么？
更新:有两个开销: GZIP添加了一个标头，通常是18个字节，但基本上是任意长的。放气怎么样？它可以通过一个乘法因子来扩展内容，这我不知道。有人知道这是什么吗？
浏览 2提问于2014-05-09得票数 10
回答已采纳
2回答
我是通过流式传输数据来按需创建GZIP的，但我需要拆分它，因为接收端有一个硬代码限制。当我使用Flush()和Close()时，我看到底层的字节缓冲区增加了13个字节。我看了Gzip Close的源代码：
func (z *Writer) Close() error {
if z.err != nil {
return z.err
}
if z.closed {
return nil
}
z.closed = true
if !z.wroteHeader {
z.Write(nil)
浏览 1提问于2018-02-08得票数 1
回答已采纳
1回答
解压缩后贴图块数据的问题
、、、
我有一个非常具体的用例来读取平铺地图编辑器的数据，它不需要整个(而且通常是过时的) libtiled库。
JSON是我的首选格式，因为在Java中使用它非常容易。我所拥有的代码非常适合原始的、未压缩的块数据，这些数据是base64编码的。一旦我将平铺中的设置更改为gzip或zlib，在从base64解码字符串中提取了几个正确的平铺GID之后，我就开始得到完全无效的数字：
原始/未压缩(正确的数据)：
Layer Name: Floor
Width, Height: 96,48
Start X,Y: -80,-48
Encoding: base64
Compression:
0,0,0,0,
浏览 8提问于2022-08-29得票数 0
我使用C# System.IO类(Framework4.0)来压缩使用FileDialog从文件系统中取出的图像，然后将其作为varbinary(max)数据类型插入到SQL Server数据库中。我遇到的问题是，当我从数据库中取出数据并尝试解压缩时，我得到了主题错误和一条额外的消息--确保传入的是gzip流。
获取文件的代码：
OpenFileDialog dlgOpen = new OpenFileDialog();
if (dlgOpen.ShowDialog() == DialogResult.OK)
{
FileStream fs = Fil
浏览 0提问于2014-11-26得票数 3
回答已采纳
我一直在互联网上搜寻可以帮助我用这种类型的encoding:application/x-xfdl;content-encoding="asc-gzip".解压XFDL文件的库或代码。我之前处理过的所有XFDL文件都有这种类型的编码: application/vnd.xfdl;content-encoding="base64-gzip"，和我使用Base64和GZIP (这两个库都是由nicklockwood编写的github上的库)都没有问题。我在Python语言中找到了可以解压缩这些类型的文件的代码，位于这里：，但是我不知道如何将这些代码实现到Objectiv
浏览 2提问于2013-03-09得票数 0
回答已采纳
gzip有可能不压缩文件吗？在这种情况下会发生什么？归档文件是否仍然包含一个放气流？我需要在我的程序中处理这个特殊的案子。
浏览 5提问于2017-03-21得票数 0
回答已采纳
1回答
因此，我想使用不同的压缩器来压缩JSON数据。我用这个压缩JSON。
import gzip
import JSON
with gzip.GzipFile('2.json', 'r') as isfile:
for line in isfile:
obj = json.loads(line)
这就产生了错误。
raise OSError('Not a gzipped file (%r)' % magic)
OSError: Not a gzipped file (b'[\n')
我也尝试了直接压缩使用。
浏览 2提问于2017-06-01得票数 3
回答已采纳
我将大型数据集存储在json.gz文件中。尺寸约为1.4GB。但是，当我使用我以前在较小的json.gz文件中加载的代码时，我会得到一个MemoryError。那么，我可以使用什么来加载更大的json.gz文件，或者可以将其拆分成更小的大小，而不需要加载整个文件呢？
代码：
import gzip
def parse(path):
g = gzip.open(path, 'r')
for l in g:
yield eval(l)
浏览 37提问于2022-02-19得票数 0
2回答
首先，让我们定义一些常见的混淆术语：
deflate = compression_algorithm;
zlib = header + deflate + trailer;
gzip = header + deflate + trailer;
我正在寻找一个图书馆，基本上可以让我做以下工作：
if(method == "gzip"){
Response.Filter = new CompressionLibrary.OutputStream(Response.Filter, CompressionLibrary.Formats.GZIP);
}
else if(meth
浏览 1提问于2010-09-10得票数 4
回答已采纳
5回答
我试图通过套接字发送大量数据(基本上是将数据记录转换为字符串)，这会降低程序其余部分的性能。是否可以使用gzip等压缩数据，然后在另一端进行解压缩？
浏览 0提问于2010-09-08得票数 1
谷歌告诉我们，那是：
"...gzipping只对较大的资源有用。由于压缩和解压缩的开销和延迟，您应该只压缩超过某个大小阈值的文件；我们建议最小范围在150到1000字节之间。压缩150字节以下的文件实际上会使它们变大。“
我目前使用的是
<ifModule mod_gzip.c>
mod_gzip_on Yes
mod_gzip_dechunk Yes
mod_gzip_item_include file \.(html?|txt|css|js|php|pl)$
mod_gzip_item_include handler ^cgi-script$
mo
浏览 3提问于2012-03-26得票数 2
是否有可能通过一定数量的流来gzip数据，即不同时将所有压缩数据加载到内存中？
例如，我可以在内存为2gb的机器上压缩10 2gb的文件吗？
在，gzip.compress函数返回gzip的字节，因此必须全部加载到内存中。但是..。目前还不清楚gzip.open在内部是如何工作的:压缩后的字节是否同时都在内存中。gzip格式本身是否使实现流gzip变得特别棘手？
这个问题是用Python标记的，但非Python的回答也欢迎。
浏览 0提问于2020-12-24得票数 1
回答已采纳
3回答
Zlib压缩放大文件
、、、
作为测试，我尝试在iPhone应用程序中使用zlib将文本文件压缩成gzip文件。我正在使用下面的代码
const char *s = [[Path stringByReplacingOccurrencesOfString:[NSString stringWithFormat:@".%@", [Path pathExtension]] withString:@".gz"] UTF8String];
gzFile *fi = (gzFile *)gzopen(s, "wb");
const char *c = readFile(Path.UTF8S
浏览 0提问于2013-03-24得票数 0
回答已采纳
1回答
我正在使用GZIP压缩来压缩文件。考虑一下解压缩的代码片段。
public static void decompress(File compressed, File raw)
throws IOException
{
InputStream in =
new GZIPInputStream(new FileInputStream(compressed));
OutputStream out = new FileOutputStream(raw);
byte[] buffer = new byte[1000];
int len;
w
浏览 2提问于2016-06-26得票数 1
4回答
我在磁盘上有一个用gzip压缩的非常大的文件。生产环境是“云”-based，所以存储性能很差，但是CPU还可以。以前，我们的数据处理流水线开始于gzip -dc将数据流出磁盘。
现在，为了使工作并行化，我想运行多个管道，每个管道都有一对字节偏移量-开始和结束-并获得文件的这一块。对于普通文件，这可以用head和tail实现，但是我不确定如何在压缩文件中有效地做到这一点；如果我gzip -dc并通过管道进入head，那么在文件末尾的偏移量对将涉及到在整个文件缓慢解压时进行浪费的搜索。
所以我的问题实际上是关于gzip算法的-理论上有没有可能在底层文件中寻找一个字节偏移量，或者获得它的任意块，而不
浏览 7提问于2013-01-09得票数 28
回答已采纳
在应用程序脚本代码中，我必须下载一个压缩压缩文件，并将文件提取出来存储在Google上。以下是与我的问题相关的代码摘要：
var resp = UrlFetchApp.fetch(file_download_url);
var blob = resp.getBlob();
blob = blob.setContentType("application/x-gzip");
var blobList = Utilities.ungzip(blob);
console.log("total g-zipped files: " + blobList.
浏览 1提问于2021-07-05得票数 0
我遇到过这样的情况:一个具有专有格式的文件被压缩为.gz，然后将其重命名为其原始扩展名，然后再次压缩。我想要捕捉这样的场景，并且想知道是否有一种方法可以检测到一个文件何时被压缩了两次。
我按如下方式读取.gz文件：
GZIPInputStream gzip = new GZIPInputStream(Files.newInputStream(inFile));
BufferedReader breader = new BufferedReader(new InputStreamReader(gzip));
浏览 19提问于2016-08-10得票数 4
回答已采纳
2回答
pg_dump compress选项有以下
指定要使用的压缩级别。零意味着没有压缩。对于自定义存档格式，这指定了单个表数据段的压缩，默认情况是在中等级别上进行压缩。对于纯文本输出，设置一个非零压缩级别会导致整个输出文件被压缩，就好像它是通过gzip提供的；但默认情况是不压缩。tar存档格式目前根本不支持压缩。
这是否意味着存档文件将具有gzip格式？
浏览 2提问于2013-02-08得票数 1
3回答
当我尝试解压缩大于2048的数据时，zlib uncompress调用返回Z_OK。因此，为了澄清一下，如果我解压缩大小为2980的数据，它将解压缩到2048 (两个循环)，然后返回Z_OK。我遗漏了什么？
Bytes is a vector< unsigned char >；
Bytes uncompressIt( const Bytes& data )
{
size_t buffer_length = 1024;
Byte* buffer = nullptr;
int status = 0;
do
浏览 3提问于2012-07-26得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
