1回答
我有一个在Linux下运行的Python脚本，它会在给定的目录中生成大量的小文件。但是，像ext4这样的许多Linux文件系统在创建时都设置了固定数量的inode，所以我想确保在开始之前可以将那么多的文件保存到该目录中。
浏览 10提问于2012-09-08得票数 2
回答已采纳
最近，我从Windows转到Linux，并且一直存在同步OneDrive的问题。虽然onedrive-砂糖程序真的很酷，我真的很高兴使用它，但它有一个小问题。上传/下载许多小文件需要时间。问题是角需要大量的依赖(？)创造了大量的小文件。我想澄清一下，我有一个很好的网络连接。我已
浏览 0提问于2021-10-21得票数 0
我已经下载了百万首歌曲数据集的一个子集，大约2 2GB。但是，数据被分解为文件夹和子文件夹。在子文件夹中，它们都是几种“H5文件”格式。我知道它可以用Python来读取。但是我不知道如何提取并加载到HDFS中，这样我就可以在Pig中运行一些数据分析。我是否将它们提取为CSV并加载到Hbase或Hive？如果有人能帮我找到合适的资源会很有帮助。
浏览 0提问于2015-10-10得票数 0
4回答
我的一位朋友设计师正在手动编译他的小文件，并将其上传到Coda (远程站点)，花费了大量宝贵的时间。他问我：
是否有可能自动检测Linux服务器上的文件更改并立即进行编译？
浏览 18提问于2012-11-29得票数 10
回答已采纳
我试图找到最好的方法来存储大量的小文件在一个卷，而不触及inode的限制。我在做一些研究，结果发现：他们建议：“小文件”的选项是什么？另外-任何其他的建议，如何配置一个驱动器为许多小文件(~3-10 of )，将不胜感激！
浏览 0提问于2020-09-19得票数 2
回答已采纳
2回答
传输大量小文件
、、、、
当你的数据在MB甚至GB范围内时，通常的数据传输方法(scp、http和ftp实用程序，如curl或wget)可以很好地工作，但是当你有非常大的小文件集合(例如10KB)时，传输将非常慢，并且根本不会使用带宽
浏览 3提问于2018-12-16得票数 0
我把Linux CentOS作为VMWare工作站上的客户操作系统，主机是Windows。我每次都能复制这个问题。我们能做些什么来解决这个问题。
浏览 0提问于2014-02-14得票数 -1
2回答
下载大量小文件
、、、、
我需要一种有效的方法，从文本文件中的URL列表中下载大量(数百万)小文件。我希望用新的名称保存这些文件(来自另一个文本文件或其他地方)，因为URL是长的、动态生成的胡言乱语，并且会导致最大文件名长度等方面的问题。
浏览 3提问于2017-02-15得票数 3
回答已采纳
6回答
我正在组装一个Linux盒，它将充当一个持续集成构建服务器；我们将主要构建Java内容，但我认为这个问题适用于任何编译语言。更新:在这种情况下，数据完整性是一个低优先级；它只是一个构建机器.最后的文物将被拉链起来，并在其他地方存档。如果构建机器上的文件系统损坏并丢失了所有数据，我们就可以擦除和重新映像；生成将像以前一样继续运行。
浏览 0提问于2011-02-04得票数 12
回答已采纳
1回答
我安装了cloudera管理器(CDH 5)并创建了自己的claster。一切都很好，但是当我运行任务时，它运行得很慢(18分钟)。但是红宝石的剧本大约运行了5秒。#mapper.py for word in doc.split(): for key, value in do_map(line):
print(key + "\t" + str(valu
浏览 3提问于2015-11-17得票数 0
我最近一直在查看我们的备份，并且注意到在编写大量小文件时，磁带的吞吐量要低得多，所以考虑将这些小文件存储到一个大tar文件中，并将其写入磁带，而不是直接录制小文件。我的意思是，我将丢失包含大量较小文件的整个(大)文件，还是只会丢失tar文件的一个特定块并能够恢复其余的文件？
另外，像Amanda或Bacula这样的备份程序如何处理大量的小文件？注意:可能只是我们的暂存磁盘太慢了，但我假设小文件会对大多数人造成这样的备份性能问题。
浏览 0提问于2011-10-20得票数 4
回答已采纳
1回答
当文件作为记录从linux机器上传到Hbase表时，我们观察到数据大小的减少(文件系统上为10 GB，Hbase表中为6-8 GB )。在hbase表上没有使用压缩方法，主要压缩也被禁用。
浏览 47提问于2021-06-23得票数 0
3回答
移动大量的小文件
、、
我必须将包含大量小文件(250 k，avg大小为5mb)的目录从一台服务器传输到另一台服务器。两者都运行在Debian上。是否有一个关于大量文件传输的协议是值得推荐的？
浏览 0提问于2011-03-26得票数 2
回答已采纳
我正在通过一个低速的，可能是错误的实验通信通道将一些文件从Linux机器转移到Windows机器上，我想测试这个通道。其中一个测试是在接收端传输大量大小文件并验证它们的加密散列。在Linux方面，我们使用md5sum生成文件散列，如下所示：然后将文件从Linux机器传输到Windows 10机器。
浏览 0提问于2020-07-22得票数 7
回答已采纳
5回答
HDFS -加载大量文件
、、、、
为了测试目的，我试图将大量的小文件加载到HDFS中。实际上，我们讨论的是大约100万(1'000'000)个大小为1KB到100 1KB的文件。我在一个文件夹中的Linux系统上用R脚本生成了这些文件。每个文件都有一个信息结构，其中包含一个带有产品信息的标头，以及包含数字信息的不同数量的列。也许是一种更好的方法来将大量的数据加载到HDFS中？
我非常感谢每一个有用的评论！
浏览 2提问于2015-08-13得票数 2
2回答
问题是-有大量的文件。只有一定数量的文件用于MapReduce作业(例如，上个月的测量值)。正因为如此，我不能将它们全部合并到一个大的序列文件中，因为不同的文件在不同的时间需要。我知道有大量的小文件是不好的，因为NameNode包含所有这些文件在HDFS上的路径(并将其保存在内存中)，另一方面，每个小文件都会导致Mapper的创建。
我怎样才能避免这个问题？
浏览 1提问于2015-04-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
