2回答
因为我有大量的小文件，所以我想把它们都打包到一个压缩的存档中，这样应用程序就不会占用太多的空间。实现这一目标的最好方法是什么？
浏览 2提问于2011-04-13得票数 1
最近，我从Windows转到Linux，并且一直存在同步OneDrive的问题。虽然onedrive-砂糖程序真的很酷，我真的很高兴使用它，但它有一个小问题。上传/下载许多小文件需要时间。问题是角需要大量的依赖(？)创造了大量的小文件。我想澄清一下，我有一个很好的网络连接。我已
浏览 0提问于2021-10-21得票数 0
我已经下载了百万首歌曲数据集的一个子集，大约2 2GB。但是，数据被分解为文件夹和子文件夹。在子文件夹中，它们都是几种“H5文件”格式。我知道它可以用Python来读取。但是我不知道如何提取并加载到HDFS中，这样我就可以在Pig中运行一些数据分析。我是否将它们提取为CSV并加载到Hbase或Hive？如果有人能帮我找到合适的资源会很有帮助。
浏览 0提问于2015-10-10得票数 0
我们正在开发一个传输资源非常有限的系统(基于Linux)。定义了可以作为一个文件发送的最大文件大小，并且我们希望发送最小数量的文件。因此，所有发送的文件都以GZip格式(.tar.gz)进行打包和压缩。
有许多不同类型的小文件(二进制、文本、图像...)应该以最有效的方式打包，以便每次发送最大数量的数据。
浏览 1提问于2014-07-13得票数 8
编辑:经过更多的搜索，我认为这是git打包的问题，显然他们的压缩方法对小文件很好，但对大文件来说很难。
浏览 7提问于2009-03-23得票数 2
回答已采纳
4回答
我的一位朋友设计师正在手动编译他的小文件，并将其上传到Coda (远程站点)，花费了大量宝贵的时间。他问我：
是否有可能自动检测Linux服务器上的文件更改并立即进行编译？
浏览 18提问于2012-11-29得票数 10
回答已采纳
1回答
从android应用程序读取文件
、、、、
我在存储卡中有9000个文件，我创建了一个应用程序来读取每个文件，并将其解析为字符串，然后将该字符串放入HashMap中，以避免重复，并仅保存未重复文件的名称，但该操作大约需要7到10秒。有没有什么方法可以让它更快..我试着寻找更好的方法，但我什么也没找到。Object :获取所有不重复文件的名称和字符串。有没有什么方法可以使用java、新IO或NDK更快地完成此操作?安装NDK并尝试使用C语言和指针是否值得。感谢大家的帮助..
浏览 2提问于2014-02-07得票数 0
我试图找到最好的方法来存储大量的小文件在一个卷，而不触及inode的限制。我在做一些研究，结果发现：他们建议：“小文件”的选项是什么？另外-任何其他的建议，如何配置一个驱动器为许多小文件(~3-10 of )，将不胜感激！
浏览 0提问于2020-09-19得票数 2
回答已采纳
2回答
传输大量小文件
、、、、
当你的数据在MB甚至GB范围内时，通常的数据传输方法(scp、http和ftp实用程序，如curl或wget)可以很好地工作，但是当你有非常大的小文件集合(例如10KB)时，传输将非常慢，并且根本不会使用带宽
浏览 3提问于2018-12-16得票数 0
3回答
但是直到现在，不管我读到了什么，它都说你不应该有多个小文件，而应该创建更少的大文件。但是我不能合并这些文件，所以我不能用小文件创建大文件。
请给我建议。
浏览 6提问于2016-06-23得票数 0
回答已采纳
GridFs的默认块大小是256 kb，但是如果我存储了很多6 kb的小文件，那么我是否会产生250 kb的保留但未使用的磁盘空间pr文件的开销，或者GridFs会将小文件打包到相同的块中吗？
浏览 0提问于2012-03-31得票数 3
回答已采纳
1回答
我有一个在Linux下运行的Python脚本，它会在给定的目录中生成大量的小文件。但是，像ext4这样的许多Linux文件系统在创建时都设置了固定数量的inode，所以我想确保在开始之前可以将那么多的文件保存到该目录中。
浏览 10提问于2012-09-08得票数 2
回答已采纳
我把Linux CentOS作为VMWare工作站上的客户操作系统，主机是Windows。我每次都能复制这个问题。我们能做些什么来解决这个问题。
浏览 0提问于2014-02-14得票数 -1
我克隆了一个本地回购程序，分为两种:一种是裸的，另一种是非裸的。裸的是750 MB，非空的是3GB.由于我可以在两者之间自由地“转换”，所以相同的信息必须同时存在于裸存储库和非裸存储库中。那么，非裸露的那个怎么能是四倍大呢？
浏览 1提问于2014-02-17得票数 1
回答已采纳
1回答
我安装了cloudera管理器(CDH 5)并创建了自己的claster。一切都很好，但是当我运行任务时，它运行得很慢(18分钟)。但是红宝石的剧本大约运行了5秒。#mapper.py for word in doc.split(): for key, value in do_map(line):
print(key + "\t" + str(valu
浏览 3提问于2015-11-17得票数 0
我最近一直在查看我们的备份，并且注意到在编写大量小文件时，磁带的吞吐量要低得多，所以考虑将这些小文件存储到一个大tar文件中，并将其写入磁带，而不是直接录制小文件。我的意思是，我将丢失包含大量较小文件的整个(大)文件，还是只会丢失tar文件的一个特定块并能够恢复其余的文件？
另外，像Amanda或Bacula这样的备份程序如何处理大量的小文件？注意:可能只是我们的暂存磁盘太慢了，但我假设小文件会对大多数人造成这样的备份性能问题。
浏览 0提问于2011-10-20得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
