2回答
我有一段成功创建zip文件的代码，但如果该文件的大小超过1MB，则需要拆分该文件。BytesIO()
with zipfile.ZipFile(sfw, "a") as zip_file:
zip_file.writestr('Batch.xml', xml_file) 我想以字节为单位检
浏览 86提问于2021-08-30得票数 1
回答已采纳
我有一个打开的文件，字节被加载到一个类中。
文件需要拆分成块，并且有一个标头给出了块的位置和大小。我应该(在打开文件时)将文件拆分成块，并将每个块存储在变量数组中，然后当我想访问块中的数据时，我只使用数组。或者将所有块存储在一个变量中，然后当我需要访问这些块时，获取它们的位置和大小，并在每次需要修改它们时使用它们来查找块。
浏览 0提问于2010-01-30得票数 2
回答已采纳
3回答
当HDFS客户端将文件写入hadoop时，HDFS客户端将文件拆分成块，然后将块写入datanode。
这里的问题是HDFS客户端如何知道数据块大小？块大小是在Name节点中配置的，而HDFS客户端对块大小一无所知，那么它将如何将文件拆分成块呢？
浏览 0提问于2016-10-25得票数 5
据我所知，Hadoop正在将大文件拆分成块这些大文件可以是文本或图像，如果我取消拆分功能会怎么样？这会影响Hadoop的性能吗？
浏览 1提问于2015-05-12得票数 0
1回答
我想修改输入文件拆分成块并存储在Hadoop分布式文件系统中的方式。(例如，它根据块大小拆分文件，但我的应用程序要求根据文件内容拆分文件)。因此，我想确切地知道根据HADOOP的块大小属性将文件拆分为块的类。
浏览 3提问于2012-12-31得票数 1
目前的解决方案是将整个树打包成单个.zip文件，然后将其拆分成块并上传到Blob Storage中。当角色实例启动时，它会逐个下载这些块，并将它们顺序保存到单个文件中，从而恢复原始的.zip。然后使用Info-ZIP unzip程序解压.zip。
现在下载大约需要25秒，但解包可能需要2-4分钟，这还不够快。我查看了每个进程的性能计数器，它看起来unzip.exe消耗的时间不超过25 %，所以问题可能是繁重的I&#x
浏览 0提问于2012-07-30得票数 1
1回答
我需要通过TCP/IP复制大文件(100 IP)。我知道系统会将文件拆分成块，但也可能更好地将这些文件拆分成小块-接近5- 10 GB？我担心系统资源。一个
浏览 1提问于2011-12-13得票数 1
回答已采纳
1回答
我有一个非常大的zip文件，它被分成多个部分作为拆分存档，在归档中只有一个文件。我没有足够的资源将这些档案组合在一起或提取它们(原始文本文件几乎是1TB)。我想逐行解析文本文件，理想情况下使用如下所示：for zipfilename in filenames:
不使用太多内存(
浏览 0提问于2013-03-13得票数 9
回答已采纳
2回答
我需要在一个大文件上计算散列值，其中散列是逐块进行的。我现在遇到的问题是如何将文件拆分成这些块？我使用的是python，这是我非常不熟悉的。
浏览 3提问于2012-07-26得票数 3
回答已采纳
2回答
我尝试获取单个文件对象，并按指定的块大小将其拆分成块。在我的示例中，尝试将单个文件拆分为1MB的块。所以我计算出它需要多少块，然后我尝试从‘偏移量’(我当前的块*块大小)开始对文件进行切片，然后切出块大小。我的第一个切片正确地显示为1MB，但随后的切片显示为0，你知道为什么吗？
浏览 0提问于2015-10-02得票数 11
回答已采纳
2回答
我正在尝试创建一个可能很大的文件夹的zip存档。为此，我使用了python zipfile模块，但就我所见，没有将创建的归档拆分为多个最大大小的块的选项。压缩后的压缩文件应该通过Telegram发送，每个文件的大小限制为1.5 GB。因此，我需要拆分得到的zip归档文件。def cr
浏览 0提问于2018-09-06得票数 4
1回答
我的目标是从Zip存档中提取某些文件，并将它们直接流到另一个Zip中，而不必对磁盘执行中间提取。到目前为止，我已经：
with ZipFile(src_zip, "r", compression=ZIP_DEFLATED) as
浏览 4提问于2017-02-17得票数 4
回答已采纳
我使用的是一个普通的Dask-Kubernetes设置，它有两个工作者和一个调度器，用来迭代一些JSON文件的行(并应用一些简单起见没有出现在这里的函数)。/usbuildingdata.blob.core.windows.net/usbuildings-v1-1/"
b = db.text.read_text(f"{base}/Alabama.zip
浏览 1提问于2020-09-24得票数 0
1回答
我有一个Matillion管道，它从SFTP服务器下载一个文件，并将该文件存储在Azure blob容器中，称为加密文件。文件是通过OpenSSL加密的，我不确定应该采取什么步骤来解密文件，并将其存储在另一个容器中，称为解密文件。 我想到的一个想法是使用bash或Python脚本来完成此任务，但我不确定如何开始。
浏览 29提问于2021-01-26得票数 0
我将一个文件加载到一个字节数组中，然后使用以下方法将其转换为字符串。string str1 = Convert.ToBase64String(fileBytes);
它可以很好地处理小文件，但是当文件太大时，比如170MB，应用程序会抛出'system.outofmemory因此，为了避免这个问题，我尝试将字节数组分成块，并将其转换并附加到字符串中。我需要确保读取所有的块，直到将每个块追加到字符串的末尾。我需要用于拆分<em
浏览 0提问于2010-07-17得票数 0
我正在使用Python内置的XML解析器加载一个1.5G的XML文件，这需要花费一整天的时间。minidom有另一个名为parseString()的方法，它返回一个DOM树，假设您传递的字符串是有效的XML，如果我自己将文件拆分成块，并将它们一次一个地传递给parseString，我可以在最后将所有的
浏览 0提问于2009-06-16得票数 3
回答已采纳
我对文件远程location.Can有一些想法，我把文件分割成块，并使用线程控制、拆分和套接字来实现数据的拆分和发送。另外，本地可以预取远程块并通过两个线程读取它？
浏览 2提问于2013-09-10得票数 0
回答已采纳
在Hadoop中，考虑一个大文件已经加载到hdfs文件系统的场景，使用hdfs dfs put或hdfs dfs CopyFromLocal命令，大文件将被拆分成块(64MB)。在这种情况下，当需要创建customRecordReader来读取bigfile时，请解释使用FileSplit的原因，因为bigfile在文件加载过程中已经被拆分，并且以拆分的块的形式存在。
浏览 3提问于2014-12-31得票数 0
1回答
我正在尝试用Python将一个存档压缩成一个最大大小(例如1024mb)的".zip“文件(或几个)。我找到的库只有gzip、shutil和zipfile，但我找不到任何可以让我将这些文件拆分到最大大小的选项。 我不想使用操作系统的功能，我想使用python库。这个是可能的吗？ 非常感谢。
浏览 29提问于2020-10-06得票数 1
我想知道如何形成Blobrequest.PutBlock(Uri uri，int timeout，string blockid，string leaseid)；
当用户尝试上传100MB的大文件时，我会在内存中将它们分成4MB的块(将4MB的数据读入byte [])..既然我有与blob.This关联的租约，那么如何使用BlobRequest.PutBlock和BlobRequest.PutBlockList将传入的文件流拆分成块并上传到blob是我猜测的唯一选择，如果
浏览 3提问于2012-10-10得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
