HDFS vs GridFS:何时使用哪个？
HDFS和GridFS都是用于存储大规模数据的分布式文件系统，但在不同的场景下使用。
HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统的一部分，主要用于存储和处理大规模数据集。它适用于大数据处理和分析场景，特别是批处理任务。HDFS采用分布式存储和冗余备份机制，能够处理大量的数据，并提供高可靠性和高吞吐量。HDFS适合存储大文件，通常用于离线数据分析、数据仓库、日志存储等场景。
推荐的腾讯云相关产品：腾讯云分布式文件存储（CFS）。
产品介绍链接地址：https://cloud.tencent.com/product/cfs
GridFS是MongoDB的一种存储机制，用于存储和检索大型二进制文件，如图片、视频、音频等。它将大文件分割成多个小文件块进行存储，并使用元数据进行索引和管理。GridFS适用于需要高性能读写和灵活查询的场景，特别是在与MongoDB数据库一起使用时。它可以与其他MongoDB数据集集成，提供统一的数据管理和查询接口。
推荐的腾讯云相关产品：腾讯云数据库MongoDB。
产品介绍链接地址：https://cloud.tencent.com/product/mongodb
综上所述，当需要存储和处理大规模数据集，并进行批处理任务时，可以选择使用HDFS。而当需要存储和检索大型二进制文件，并与MongoDB数据库集成时，可以选择使用GridFS。
相关·内容
HDFS和GridFS是两种很好的分布式文件保存技术，但是它们有什么不同呢？哪种类型的问题更适合每个问题？
浏览 0提问于2012-01-31得票数 7
回答已采纳
但是由于在MondoDB中有这样一个选项，我想知道在推荐这种方法时使用这种方法的优点，以及用例。
浏览 5提问于2016-05-16得票数 2
回答已采纳
1回答
我在同一个google云平台上有hdfs集群和python。我想从python访问hdfs集群中的文件。我发现使用pydoop可以做到这一点，但我很难给出正确的参数。下面是我已经尝试过的代码：-import pydoop
"&
浏览 1提问于2019-07-04得票数 3
我一直在使用从MongoDB集合中加载DataFrames。Mongo Spark连接器对GridFS一无所知。我想从GridFS中读取一个JSON行文件，推断模式，最后得到一个DataSet[Row]。这种方法有什么非常疯狂的地方吗？
浏览 2提问于2017-05-21得票数 0
为什么在Hadoop中使用称为HDFS的特定文件系统？与NTFS或FAT相比，HDFS有什么优势？选择HDFS for hadoop的原因是什么？
浏览 6提问于2013-07-30得票数 0
1回答
我有一个很大的mongo db文档，我想用GridFs库来存储它。对于小文档，我们使用MongoDbTemplate作为： DBObject dbObject = new DbObject();
mongoDbTemplate.save(dbObject, "collectionName"); 对于大型文档，我们使用GridFsTemplate作为： DBObject metaData = new BasicDBObj
浏览 18提问于2020-11-20得票数 0
1回答
我将上传的图片存储在gridfs (mongodb)中。因此，图像数据永远不会保存在普通文件系统上。这是通过使用以下代码来实现的：import gridfs
db = conn.my_gridfs_db我想知道是否有一种方法可以在不将
浏览 1提问于2013-07-01得票数 3
回答已采纳
调用oracle函数时，DriverManager.getConnection vs DriverManager.registerDriver()之间有什么区别？我经常只使用DriverManager.getConnection，但我在oracle站点中看到了DriverManager.registerDriver()的例子。所以
何时使用DriverManager.registerDriver()？
浏览 1提问于2015-10-22得票数 0
回答已采纳
1回答
我安装了VS 2015和2013。我正在尝试使用"MSBuild版本是4.0.30319“来构建我的自定义Web应用程序。任何人可以重复为什么在VS安装后没有创建文件夹。何时创建V10.0文件，需要安装哪个版本的VS？
但Visual Studio正常构建正在运行。它是如何工作的？
浏览 2提问于2016-12-09得票数 0
为此，我们可以使用mongoDB gridFS。但是在gridFS中，它们是两个集合，即块和文件。现在，我想知道，哪个集合，即块或文件，对我来说是最好的。我们是怎么决定的，是什么决定的。
浏览 3提问于2014-09-16得票数 0
回答已采纳
CDH版本: CDH5.4.5[tester@master ~]$ hdfs dfs -mkdir /user/tester/vs_key_testdir
添加加密区域成功$ hdfs密码到-createZone-keyName 'TDEHDP‘-path /user/tester/vs_k
浏览 3提问于2015-09-09得票数 8
3回答
我想将用户选择的文件保存到MongoDB。如何正确地将文件添加到BSON对象，以便将其添加到MongoDB？如果我的方法不正确，请指出正确的方向。$('#add').click(function() console.log('Creating JSON object...');
var classCode = $('#classCode&
浏览 0提问于2012-12-17得票数 29
回答已采纳
我计划在我的下一个项目中使用两个gridfs模板。我想使用两个不同的数据库"ProductImage“和"ProfileImage”。根据用户上传的图像，应将图像插入相关数据库。-- Mongo GridFs settings --> <beans:bean id="gridTemplate"
class="org.springfram
浏览 4提问于2013-12-12得票数 0
回答已采纳
我使用celery在两台并行计算机上输出文件，因此输出的文件将分布在两台计算机上。如何编写程序从这两台计算机读取文件？
浏览 0提问于2013-06-26得票数 1
我在想哪个更好/更快
有一个单独的文档集合，其中只包含保存为二进制数据的图像，可能还包含一些元数据。或使用GridFS存储图像.
浏览 6提问于2011-10-18得票数 14
回答已采纳
如果nnA是主namenode，我可以执行HDFSDFS-Dfs.defaultFS= hdfs ://nnA -ls /path/to/ nnB，如果nnB是主namenode，则nnB-DFS-Dfs.defaultfs= hdfs ://nnB -ls /path/to/file
如果我使用的namenode恰好是当时的主命令，这两个命令都可以正常工作。如果我选择使用的namenode恰好是次要namenode，则得到
浏览 2提问于2020-02-20得票数 0
回答已采纳
当在java中使用时，下面的代码段工作得很好。但是，mapreduce中是否有一种使用java驱动程序将结果存储到不同数据库中的方法。我想要实现这一点，因为mapreduce不能创建有上限的集合。
浏览 2提问于2013-07-23得票数 1
回答已采纳
1回答
Hive SQL文件执行
、、、、
我正在使用Cloudera Quickview VM 5.10使用Hue在“user/hive/”中创建了一个新文件(sample.sql)。，我编写了一些SQL代码(使用testdb；select * from 的修改)。在HDFS终端中输入以下命令上面说文件找不到。
浏览 5提问于2020-11-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
