腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(579)
视频
沙龙
2
回答
如何控制在spark中设置大分区时生成的文件数?
、
、
但是,输出文件很小(~1GB),但是它会创建大量的
小文件
(3000个文件,每个文件小于1Mb)。如何将这些
小文件
组
合成
一个
大文件
? 另一个问题是,为什么输出文件的数量是洗牌分区数量的3倍?
浏览 24
提问于2021-12-14
得票数 1
3
回答
合并小型HDFS数据块的最简单方法是什么?
、
、
有没有什么简单的方法可以将这些
小文件
组
合成
更接近HDFS块大小(64MB)的
大文件
?
浏览 0
提问于2010-12-13
得票数 6
回答已采纳
2
回答
如何提高大量
小文件
的读写速度?
、
、
、
、
我的工作是提高从磁盘读取大量
小文件
(1KB)写入数据库的速度。数据库对我来说是开源的,我可以将所有代码从客户端更改为服务器端。数据库架构是,它是一个简单的主从式分布式HDFS数据库,类似于HBase。磁盘中的
小文件
可以自动插入到我们的数据库中,并自动组
合成
较大的块,然后写入HDFS。(
大文件
也可以被数据库拆分成较小的块,然后写入HDFS)
浏览 2
提问于2015-09-07
得票数 0
1
回答
在Hadoop中使用SequenceFile代替文本文件的原因
另外,我读到它对文件执行压缩,因此它占用的空间更少,并且将许多
小文件
聚
合成
一个
大文件
是很好的。 这个论点有效吗?还有什么?
浏览 2
提问于2015-01-23
得票数 0
1
回答
安卓:设置HttpUrlConnection限速
、
、
、
有没有可能在安卓
系统
中设置HttpUrlConnection的下载速度限制?问题是:当我开始下载一个
大文件
,大约100MB,可能需要大约5分钟,我的应用程序在此期间几乎无法使用一个典型的场景是:用户点击一个
大文件
-->
大文件
在后台下载。同时,用户想要显示另一个
小文件
(1MB,从服务器加载它应该需要几秒钟)。但问题
浏览 7
提问于2013-02-09
得票数 0
1
回答
共享
大文件
、
、
、
我必须使用node.js开发一个文件共享
系统
,我不知道如何在我的用户之间发送
大文件
。现在,我有一个简单的node.js + express + socket.io服务器,它可以检测连接并允许用户通过执行以下操作来交换
小文件
:其中selectedFile是来自常规<input type="file">的File对象 正如我所说的,这适用于
小文件
,但我不确定我应该如何实现适用于
大文件
的东
浏览 0
提问于2014-11-07
得票数 0
1
回答
告诉Linux在将文件写入磁盘时不要将其保存在缓存中。
、
我正在从用户模式应用程序将一个
大文件
写入磁盘。与此并行,我正在编写一个或多个较小的文件。
大文件
不会在短期内被读取,但是
小文件
可能会被读取。我有足够的RAM用于应用程序+较小的文件,但对
大文件
不够。我能否告诉操作
系统
,在将部分
大文件
写入磁盘后,不要将它们保存在缓存中,这样就可以为较小的文件提供更多的缓存?我仍然希望写入
大文件
的速度足够快。
浏览 5
提问于2020-09-21
得票数 0
回答已采纳
1
回答
ATS如何处理大型文件?
我正在读一节。我想知道ATS如何有效地处理大型文件(例如电影文件)。请给我一点亮光。
浏览 2
提问于2017-05-10
得票数 1
回答已采纳
2
回答
写入相同数据量的多个文件与写入相同数据量的单个
大文件
、
、
我想在本地磁盘上写一个
大文件
。我将
大文件
分割成许多
小文件
,并尝试将其写入磁盘。但我观察到,当我拆分文件并尝试写入时,磁盘写入时间会大大增加。
浏览 0
提问于2012-10-31
得票数 2
回答已采纳
1
回答
许多
小文件
的良好文件
系统
和/或存档
系统
、
、
、
大多数通用文件
系统
似乎不适合这样做,因为它们要么无法处理大量的文件,要么无法处理许多文件,或者具有非常大的块大小。这似乎是一个常见的问题,然而,当我在inode上存储大小与其大小大致相同的
小文件
时,我发现的所有解决方案似乎最终都会受到存储效率的影响。是否有专门为处理数亿个
小文件
而设计的文件
系统
?或 是否有生产级解决方案来动态归档
小文件
并将一个
大文件
写入磁盘?
浏览 4
提问于2012-10-31
得票数 0
回答已采纳
1
回答
如何分析大型jvm转储文件
、
、
我们的hadoop集群有1000+节点和20PB数据。因此,我们的NameNode转储文件超过100 it,并且我们发现很难使用任何工具对其进行分析。对于如何分析这么大的jvm转储文件,有人有什么建议吗?
浏览 9
提问于2018-08-25
得票数 0
1
回答
文件复制时间变化
、
、
复制许多
小文件
比复制一个大小相同的
大文件
要花更长的时间吗?这仅仅是因为复制每个文件的细节的开销吗?
浏览 4
提问于2014-12-05
得票数 1
回答已采纳
2
回答
如何创建文件
系统
碎片?
、
文件碎片的风险因素主要包括完整的磁盘和重复的文件附加。文件碎片的其他危险因素是什么?如何使用C++/C#/VB/VB.NET等通用语言来处理文件&创建新文件,目的是增加文件碎片?编辑:像这样的东西会是一个好方法吗?硬盘空闲空间= FreeMB_atStart
浏览 1
提问于2010-02-09
得票数 0
回答已采纳
1
回答
复制速度一直在下降?
、
我使用Ubuntu12.04。当我在内部复制文件(从硬盘内部复制)时,nautilus最初显示的速度约为30 Mb/s。但问题是,它总是一次下降0.1 Mb/s (大约每5秒),直到它稳定在1 Mb/Mb左右(如果复制还没有完成)。对这个问题有什么想法吗? 编辑:虽然我无法真正找出造成这个问题的原因,但使用像rsy
浏览 0
提问于2013-03-15
得票数 4
1
回答
unixFreeBSD中的块分配
来自FreeBSD UNIX (加尔文) 假设数据以1KB字节的传输大小写入文件,文件
系统
的块和片段大小为4KB和512字节。文件
系统
将分配一个1 KB片段,以包含来自第一次传输的数据。作者讨论的是UNIX中的通用文件
系统
。
浏览 2
提问于2009-04-19
得票数 0
1
回答
分布式修改控制和文件类型
、
、
Git可以用于包含Solidworks文件或Autodesk Inventor文件的版本控制项目吗?我的问题可能不是一个具体的问题,但我是否可以这样做呢?
浏览 1
提问于2014-12-29
得票数 2
回答已采纳
2
回答
git,上传连接不稳定的
大文件
?
、
我有一个
大文件
和一个不稳定的连接。上传被多次中断。 有没有办法上传这些文件可以恢复?
浏览 6
提问于2016-01-10
得票数 2
回答已采纳
1
回答
硬件Raid6 -哪个FS和挂载+基本问题
、
、
、
、
我有一个新的
系统
(Ubuntu14.04在一个SSD),包括2*Megaraid 9271-8i controller+cachecade & BBU连接到案件的背板。
浏览 0
提问于2015-02-14
得票数 0
1
回答
为什么我的samba服务器提供数据的速度如此之慢,即使当所述数据被缓存时?
、
、
、
我有一个带有基本Samba安装的CentOS 5.6服务器。它有一个附加在Areca 1880上的8驱动器Raid 5,hdparm测试给我返回了~450 me,我可以用dd到/dev/null来确认接近这个值。向网络提供文件是10 1gbe卡,客户端都是1 1gbe/intel/etc,在同一个交换机上。 在整个过程中,我遇到的问题似乎相当一致,当没有将文件缓存到服务器上的内存中时,单个流文件的复制性能很差。我指的是9-12MB的文件,如果我复制一个1GB的文件,性能是通过屋顶,通常在1gbe客户端的90%+。当我复制9-12MB文件时,比如100个文件,它将得到大约40-50%的使用率,一
浏览 0
提问于2011-09-04
得票数 1
4
回答
从1亿行字符串中搜索字符串
、
我想要找到从这个新的
小文件
到旧的
大文件
的这些md5散列的相应索引。我试过很多方法,但都不起作用。
浏览 0
提问于2013-12-19
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
微软win10发布7月更新,三大版本同步更新,着重提升系统安全性
FastDFS分布式系统文件下载及其他相关内容
ARM/x86服务器的ceph性能对比报告
【大数据】Hive 小文件治理和 HDFS 数据平衡讲解
滴滴对象存储系统的演进之路
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券