1回答
我是Linux新手，我试图在.bz2文件中查找ID号。似乎是一个相当直截了当的要求，但我找不到正确的命令在线任何地方。我想我需要用bzgrep。
我想在Bulk9876.bz2文件中查找'123456‘
我将如何构造这个命令？
浏览 4提问于2017-06-30得票数 0
如果我有两个文本文件，一个和两个，有什么区别：
bz2一二-c >out.bz2
...and...
bzip2 -c >out.bz2
具体来说，我正在使用bz2生成文件，将它们放在HDFS上，然后从猪中读取它们，然后点击。我无法从0.20版升级我的hadoop集群，使用非并行bz2实现太慢了，我想使用非块压缩算法。
有任何方法可以将连接的bz2文件转换为非级联的文件吗？甚至，我将如何修改pbzip2，使其生成非连接的bz2文件？
谢谢-
浏览 1提问于2013-02-06得票数 1
回答已采纳
我一直在网上搜索，并使用档案制作.bz2文件。我的归档工具只使tar.bz2和我的游戏主机不读。它只读取.bz2文件。有办法将目录变成.bz2文件吗？
我尝试过sudo bzip2，但它不接受目录。
浏览 0提问于2013-12-05得票数 1
2回答
我有大约200,000个文本文件放在一个bz2文件中。我遇到的问题是，当我扫描bz2文件以提取所需的数据时，速度非常慢。它必须查看整个bz2文件，才能找到我要查找的单个文件。有没有什么办法可以加快速度呢？
此外，我还考虑过在tar.bz2中组织文件，这样我就可以让它知道在哪里查找。有没有办法组织放到bz2中的文件？
更多信息/编辑:我需要查询每个文本文件的压缩文件。有没有一种更好的压缩方法，可以支持如此大量的文件，并且是完全压缩的？
浏览 1提问于2010-08-16得票数 3
回答已采纳
bz文件与.bz2不同吗？我猜bz2是bz的继承者，也许他们使用不同的压缩算法，或者它们本质上是文件名的后缀，意味着同样的事情？
bzip2(1)显然没有提到bz和bz2文件之间的区别，但是它确实提到了这一点：
bunzip2 (或bzip2 -d)解压缩所有指定的文件。未由bzip2创建的文件将被检测和忽略，并发出警告。bzip2试图从压缩文件中猜测解压缩文件的文件名如下: filename.bz2变为文件名，filename.bz变为文件名，filename.tbz2变为filename.tar，filename.tbz变为filename.tar，其他名称变为anyothername.o
浏览 0提问于2017-06-22得票数 2
回答已采纳
我有一个.bz2文件的文件夹(实际上在HDFS上，但我不认为这会影响问题)。其中一些文件在解压缩时会产生单个空文件。我想删除所有解压缩为空的.bz2文件，我注意到它们都有14字节的大小。简单地删除所有14个字节的文件安全吗？或者，非空文件是否可以压缩为/解压缩为14字节的bz2？
浏览 10提问于2017-07-25得票数 0
1回答
我可以看到猪可以本机读取.bz2文件，但我不确定它是否运行一个显式作业将bz2拆分成多个inputsplits？有人能证实这一点吗？如果猪在运行一个作业来创建输入分裂，那么有什么方法可以避免这种情况呢？我的意思是让MapReduce框架在框架级别将bz2文件拆分为多个输入缝的方法？
浏览 0提问于2013-08-12得票数 2
回答已采纳
2回答
我应该找出一个文件是使用.bz2还是.tar.bz2(没有文件扩展名)进行压缩，并相应地解压缩它。我使用了file命令，但它对.bz2和.tar.bz2都给出了相同的结果。请建议一种明确识别.bz2和.tar.bz2文件的方法。
浏览 0提问于2019-09-15得票数 2
回答已采纳
1回答
def compress():
if args['compression'] == 'Yes':
for day in getdate():
x = str(day.strftime('%Y/%m/%d')).replace("/0","/")
print (x)
loc_postfix = log_type+"/"+x
location = "s3://bucket
浏览 23提问于2021-04-15得票数 0
考虑名为的文件：
foo.tar.bz2
文件扩展名是什么？是.tar.bz2还是.bz2？它定义得很好吗？
编辑:这里的问题是“文件扩展名”的定义之一，或者文件名与其扩展名之间的分隔位置:是"foo|.tar.bz2“还是"foo.tar|.bz2”
浏览 0提问于2014-04-24得票数 0
我想在json包中包含一个大的压缩字符串，但是遇到了一些困难。
import json,bz2
myString = "A very large string"
zString = bz2.compress(myString)
json.dumps({ 'compressedData' : zString })
这将导致一个
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 10-13: invalid data
一个显而易见的解决方案是对整个json结构进
浏览 0提问于2010-10-14得票数 4
回答已采纳
1回答
在为python中的Linux设计一个相当简单的备份系统时，我发现自己在问这个问题，是否有时间优势同时备份多个数据集/档案？
我的直觉告诉我，同时写几个档案不会给我带来太多的时间，因为I/O已经是最大的瓶颈。
另一方面，如果使用像bz2这样的东西，那么多线程是否有优势，因为对CPU的需求越高，I/O需求就越低？或者这是一个清洗，因为所有线程都在做本质上相同的事情，因此共享相同的瓶颈？
浏览 3提问于2010-11-08得票数 0
回答已采纳
1回答
我正在嗅探一个使用ICEP (ZeroC ICE Protocol)的连接，它的数据包体使用BZ2 (GNU BZip 2)算法进行压缩。
我想知道包是否加密了。ICEP可以使用OpenSSL加密通信量。
附加信息
这是一个本地网络，我使用WireShark来分析流量。客户机是windows上的.Net应用程序，服务器是Gnu/Linux机器上的Python应用程序。如果他们使用任何加密，可能是ADH (匿名Diffie-Hellman密码)密码。
我也尝试使用# openssl s_client命令，但它说：
CONNECTED(00000003) 3894:error:140770FC:S
浏览 0提问于2011-03-19得票数 3
回答已采纳
我使用的是Python 2.7。我有一个.bz2文件，我需要计算出它的组件文件的未压缩文件大小，而不是真正解压缩它。我已经找到了对gzip和tar文件执行此操作的方法。有没有人知道bz2文件的方法？
非常感谢
浏览 0提问于2012-09-29得票数 2
回答已采纳
2回答
由于bz2是可拆分的，并且可以节省空间，因此我计划以bzip2格式存储表数据。然而，它似乎不能识别压缩格式。它对gzip格式很好。我使用的代码如下所示：
CREATE TABLE IF NOT EXISTS image_bzip (
image_id STRING,
image_feature STRING,
other_stuff STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/hivestore/bzip';
L
浏览 1提问于2011-10-25得票数 0
回答已采纳
2回答
我正在寻找一种压缩dicom文件并将其发送到远程服务器的方法(在我的例子中是nodejs)
我尝试了bz2压缩，它似乎在大的dicom文件上工作得很好(用10Mb的文件进行了测试，得到了5Mb的压缩文件)。
当涉及到小文件(如250Kb的文件)时，我得到的大小减少了很少的kb (大多数情况下是5到10 kb )，这是不值得的
谁能解释一下为什么bz2可以很好地处理大型dicom文件，有没有更好的方法来压缩dicom文件，以便通过互联网发送它们。
提前谢谢。
浏览 9提问于2016-07-21得票数 0
2回答
我试图用以下代码读取一个大型bz2文件：
import bz2
file= bz2.BZ2File("20150219.csv.bz2","rb")
print file.read()
file.close()
但是在4525行之后，它就停止了，没有错误消息。bz2文件要大得多。
如何逐行读取整个文件？
浏览 5提问于2015-03-04得票数 1
回答已采纳
当我试图通过传递集成ID来访问Xcode服务器代码覆盖率API时，它不是JSON响应，而是直接下载.bz2文件。我希望使用此API在我的自定义仪表板中显示文件明智的覆盖率报告。
有任何方法可以从这个API ()而不是.bz2文件获得.bz2响应吗？
浏览 2提问于2017-07-19得票数 0
回答已采纳
2回答
用PHP构建.deb包
、、、
我有一个网站，需要建立一个debian包，并将其移动到一个不同的目录，供人们下载。我已经能够使用Linux和bash文件来使用dpkg压缩和构建包文件。下面是bash脚本
#!/bin/bash
echo Enter app name
read NAME
cd /home/stumpx/cydia/apps
dpkg -b $NAME
cp /home/stumpx/cydia/apps/$NAME.deb /home/stumpx/cydia/upload/deb/$NAME.deb
cd /home/stumpx/cydia/upload
dpkg-scanpackages -m . /d
浏览 1提问于2011-04-28得票数 1
回答已采纳
1回答
增量压缩和一次性压缩有什么区别？
、、、、
我试图在python中使用bz2和/或lzma包。我正在尝试压缩csv格式的数据库转储，然后将其放入zip文件。我用这两个包进行了一次压缩。
代码如下所示：
with ZipFile('something.zip', 'w') as zf:
content = bz2.compress(bytes(csv_string, 'UTF-8')) # also with lzma
zf.writestr(
'something.csv' + '.bz2',
content
浏览 1提问于2015-03-25得票数 2
回答已采纳
我从获得了一个代码，它定义了一个压缩文本字段。我需要这样做，因为我存储了太多的文本，而且我的数据库太大了。问题是，代码没有任何文档，而且令人困惑。
特别是，我对代码做了一些修改，在这里：
def get_prep_value(self,value):
if not value:
return value
try:
tmp = value.encode('utf-8').encode('bz2')
except Exception:
return value
else:
浏览 0提问于2014-06-21得票数 2
1回答
我正在寻找一个linux备份工具来升级我的备份策略。
今天，我每天都在Linux服务器上进行完全备份(Ubuntu20.04)。我更喜欢直接备份VM中的数据，并将数据发送到另一个站点(而不是VMware vSphere级别)，以不依赖于虚拟化系统(以便能够使用Linux和LAMP&Co工具从任何类型的服务器重新启动)。
我们有超过一百万的文件(csv，json，xlsx)和几乎1到1的数据。压缩后，它在4小时内减少到100 to，这要归功于lbzip2及其多线程结构。开始每天晚上的空间和时间太多了。我想在周末做完整的备份，在平日晚上只做增量备份。
我尝试了Dar和双重性，但是没有多线程
浏览 0提问于2022-08-05得票数 1
如何用python解压缩内存中的*.bz2文件？bz2文件来自csv文件。
我使用下面的代码在内存中解压缩它，它可以工作，但是它会带来一些脏数据，例如csv文件的文件名和它的作者名称，还有其他更好的方法来处理它吗？
#!/usr/bin/python
# -*- coding: utf-8 -*-
import StringIO
import bz2
with open("/app/tmp/res_test.tar.bz2", "rb") as f:
content = f.read()
compressedFile = StringIO.
浏览 2提问于2017-09-19得票数 1
回答已采纳
1回答
我有一个可以使用bunzip2命令解压缩的bz2文件。这为我提供了一个tar文件，我想进一步提取该文件。现在，如何通过管道将bz2提取后的文件名传递给tar提取命令？
我试过bunzip2 <file.bz2> | tar -xvf，但这似乎不起作用。
浏览 1提问于2016-12-08得票数 0
我需要在python中将多个文件压缩为一个bz2文件。我想找个办法，但我找不到答案。有可能吗？
浏览 0提问于2018-10-04得票数 1
回答已采纳
2回答
如何将输出写入压缩文件(gz、bz2等)使用fstream？似乎Boost库可以做到这一点，但我正在寻找一个非Boost解决方案。我看到的示例只是为了从压缩文件中读取。
浏览 0提问于2012-12-01得票数 2
回答已采纳
我已经使用bz2库在内存中动态地解压缩和读取文件。然而，我已经通读了文档，似乎不能简单地解压缩文件来在文件系统上创建一个全新的文件，其中包含没有内存存储的解压缩数据。当然，您可以使用BZ2Decompressor逐行读取，然后将其写入文件，但这将非常慢。(解压缩大量文件，50GB+)。有没有一些我忽略的方法或库，可以在不使用子进程调用终端命令的情况下实现与python中的终端命令bz2 -d myfile.ext.bz2相同的功能？
bz2速度如此慢的原因示例：
通过bz2 -d解压该文件:104秒
对解压缩文件的分析(只涉及逐行阅读)：183秒
with open(file_src) as
浏览 28提问于2018-03-03得票数 3
下面的代码使用gzip、bz2和lzma编写一个压缩文本文件，然后读取并打印它的二进制内容。
import bz2
import gzip
import lzma
import os
def test(encoding):
print(encoding)
for module in [gzip, bz2, lzma]:
path = '/tmp/test.txt.%s' % module.__name__
if os.path.exists(path):
os.remove(path)
浏览 19提问于2019-03-15得票数 3
回答已采纳
我想bzip2大约1000个文件。但是，我的任务是不删除旧文件，并将原始文件和它的bz2文件放在同一个文件夹中。最快的方法是什么。
为了重新表达我的问题，假设我有file1.txt、file2.txt、file3.txt.file1000.txt，我需要它的bz2版本在同一个文件夹中而不删除它们。
如何做到这一点？
浏览 0提问于2019-06-28得票数 2
3回答
我在Linux上的生产服务器上创建并压缩了一个SQL转储(用bzip2)。
我想要创建一个shell脚本，以便在我的开发环境的数据库中自动导入它(在Mac上)。
使用uncompressed实用程序，dump.sql.bz2文件可以很好地手动解压缩。但是，当我使用命令行(如bzip2 -dck dump.sql.bz2或bunzip2 -k dump.sql.bz2 )时，sql文件被转换为二进制文件，无法被mysql (ERROR at line 1: Unknown command '\%')利用，正如您在这个屏幕截图中看到的那样：
图形用户界面与CLI bzip2 2提取
浏览 0提问于2016-06-10得票数 0
回答已采纳
我正在尝试将BZ2文件(用BZ2压缩)解压缩到目录中。The文件包含多个文件。
所有的(我已经见过不少了.)示例显示了如何将file文件解压缩为一个文件。
到目前为止，这就是我所拥有的：
def unzipBzip2(passed_targetDir, passed_zipfile):
full_zipfile = pathlib.Path(constants.APP.ROOT, constants.DOWNLOAD_FOLDER, passed_zipfile)
full_target = pathlib.Path(constants.APP.ROOT, constants.
浏览 7提问于2021-10-26得票数 0
我在.bz2文件中工作很长时间了。要将.bz2文件解压缩/解压缩到特定的文件夹中，我一直使用以下函数：
destination_folder = 'unpacked/'
def decompress_bz2_to_folder(input_file):
unpackedfile = bz2.BZ2File(input_file)
data = unpackedfile.read()
open(destination_folder, 'wb').write(data)
最近，我获得了一个带有.xz (不是.tar.xz)和.zst扩展名的文
浏览 4提问于2019-03-15得票数 8
回答已采纳
1回答
我正在Windows 10上运行Python3.6.4和秋季创建者更新。我试图解压缩一个维基媒体数据转储文件，特别是。
这个文件在命令行上使用7z解压缩没有问题，但是在第一个数据块上失败，从Python解压缩程序输出的数据长度为零。守则如下：
import bz2
def decompression(qin, # Iterable supplying input bytes data
qout): # Pipe to next process - needs bytes data
deco
浏览 1提问于2018-03-30得票数 2
回答已采纳
3回答
当对bz2压缩文件执行tar时，我遇到以下错误：
tar: dump.sql:文件缩小19573448400字节；填充零
有人能指出是什么导致了这个问题吗？
谢谢。
浏览 0提问于2012-04-05得票数 12
1回答
每隔6小时，我就必须从web服务器下载bz2文件，解压缩它们并将它们合并到一个文件中。这需要尽可能高效和快速，因为我必须等待下载和解压缩阶段完成，然后再继续合并。
我编写了一些bash函数，这些函数以一些字符串作为输入来构造要作为匹配模式下载的文件的URL。通过这种方式，我可以直接将匹配模式传递给wget，而不必在本地构建服务器的内容列表，然后将其作为一个列表传递给-i到wget。我的函数看起来像这样
parallelized_extraction(){
i=0
until [ `ls -1 ${1}.bz2 2>/dev/null | wc -l ` -gt 0 -o
浏览 5提问于2020-10-02得票数 1
回答已采纳
我想直接将数据从bz2 url解压缩到目标文件。以下是代码：
filename = 'temp.file'
req = urllib2.urlopen('http://example.com/file.bz2')
CHUNK = 16 * 1024
with open(filename, 'wb') as fp:
while True:
chunk = req.read(CHUNK)
if not chunk: break
fp.write(bz2.decompress(chunk))
fp.close()
Bz
浏览 5提问于2014-12-16得票数 4
回答已采纳
我有一堆(很大，每个10 of ) bz2格式的文件。我想上传它们，然后对它们执行一些查询。大查询是否“理解”bzip，就像对gzip一样？我该改信他们吗？上传它们的最好方法是什么？
浏览 2提问于2017-06-25得票数 0
回答已采纳
我知道下面是hive中的输入和输出格式，
文本文件。序列文件。RC文件。AVRO文件。ORC文件。拼花木屑。
我们何时使用bz2压缩?它们与hive文件格式有何不同？什么时候使用它？
浏览 8提问于2020-06-02得票数 0
回答已采纳
有没有办法在JsonStorage中使用bz2来存储数据？
我试过了
STORE DATA INTO 'path_to_file.bz2’ USING JsonStorage();
但这并不成功。
我可以使用PigStorage来做到这一点，但是它使用字符分隔符而不是json来分隔字段。
浏览 0提问于2014-02-26得票数 2
我有一个很大的json文件。它的日志数据，我已将其压缩为bz2格式(myfile.json.bz2)。bz2文件的大小为90MB。我寻找了一个很好的解决方案或一篇博客文章，解释了如何有效地解析压缩的bz2 json文件，但没有找到任何东西。
因为文件很大，所以不可能做像这样的事情。
with open('data.json') as data_file:
data = json.load(data_file)
最好的方法是什么？
在深入研究之后，我发现有一个python包可以用来读取bz2
input_file = bz2.BZ2File(filename, &
浏览 1提问于2015-01-22得票数 3
2回答
正如您可能知道的，Python的tarfile没有能力附加到使用gz或bz2压缩的文件中。我试着实现这个功能，它工作得很好，但运行缓慢。下面的函数接受一个或多个字节对象，并将其作为文件附加到现有的tarfile中。我不确定这段代码是否有最好的性能，而且可能有问题。我还尝试将文件写入内存而不是临时目录，但这并没有影响性能。
import os
import tarfile
import tempfile
import time
from pathlib import Path
def append_tar_file(buffer, file_name, output_path, replac
浏览 0提问于2018-07-29得票数 8
回答已采纳
我有一个相当大的BZ2文件，里面有几个文本文件。我是否可以使用Java来解压缩BZ2文件中的某些文件，并动态地解压缩/解析数据？假设一个300mb的BZ2文件包含1 GB的文本。理想情况下，我希望我的java程序读取1mb的BZ2文件，动态地解压缩它，对它执行操作，并继续读取BZ2文件以获取更多数据。这有可能吗？
谢谢
浏览 1提问于2011-01-29得票数 15
我可以使用以下命令将json文件读入Pyspark中的dataframe中
spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.json("path to json file")
但是，当我尝试将bz2(压缩的csv)读取到数据帧中时，它给我一个错误。我正在使用：
spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.load(&#
浏览 1提问于2018-06-05得票数 7
2回答
我试图用下面的代码片段解压缩bz2文件，这些代码片段在不同的地方提供：
bz2_data = bz2.BZ2File(DATA_FILE+".bz2").read()
open(DATA_FILE, 'wb').write(bz2_data)
然而，我得到的文件比我预期的要小得多。
当我使用7zGUI解压缩文件时，我收到的文件大小为248 am。但是，使用上面的代码，我得到的文件是879 is。
当我读取提取出来的XML文件时，我可以看到文件的其余部分就像我预期的那样丢失了。
我正在Windows机器上运行anaconda，据了解，在文件实际结束之前，bz2就达
浏览 16提问于2017-08-19得票数 0
回答已采纳
我有一个使用Hadoop1.0.0的集群，我想运行一个处理大型bz2文件的MR作业。在0.21.0版本中，Bz2编解码器支持对输入文件进行拆分，但是我在1.0.0中找不到此功能。在1.0.0中有没有等同于拆分bz2输入的方法？或者我应该手动应用0.21.0版本的补丁？
浏览 0提问于2012-05-01得票数 2
回答已采纳
我在Linux脚本中遇到了一个非常愚蠢的问题。我想删除目录中扩展名为".bz2“的所有文件。在我所谓的剧本里
rm "$archivedir/*.bz2"
其中$archivedir是一个目录路径。应该很简单，不是吗？不知怎么的，它成功地失败了，因为这个错误：
rm: cannot remove `/var/archives/monthly/April/*.bz2': No such file or directory
但是该目录中有一个名为test.bz2的文件，如果我将脚本更改为
echo rm "$archivedir/*.bz2"
并将该
浏览 1提问于2009-04-26得票数 70
回答已采纳
问题
我正在用Python2.7.6解析大型压缩文件，并希望在开始之前了解未压缩文件的大小。我正在尝试使用中提出的第二种技术。它适用于bzip2格式的文件，而不是gzip格式的文件。造成这种情况的两种压缩算法有什么不同？
示例代码
假设您的当前工作目录中有"test.bz2“和"test.gz”，此代码片段演示了该行为：
import os
import bz2
import gzip
bz = bz2.BZ2File('test.bz2', mode='r')
bz.seek(0, os.SEEK_END)
bz.close()
gz =
浏览 1提问于2014-09-08得票数 4
回答已采纳
4回答
我有几个(27)个巨大的(每个几GB ) bz2归档文件，我需要将它们合并到一个bz2归档文件中。对我来说，解压缩它们，然后从刚刚解压的文件创建一个新的归档文件是不可能的，因为压缩后，所有27个文件加起来大约有100 6TB，而解压后大约是5-6TB (是的，这就是TERAbytes的笑声)。
这可以用某种脚本来完成吗，或者甚至有另一种压缩格式可以(更容易)做到这一点？
浏览 3提问于2011-08-05得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
