是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
Hadoop到底是干什么用的，主要的应用场景和应用领域是什么，主要解决的核心问题又是什么，我们个人可以用它来干什么 产生价值呢?
浏览 940提问于2020-09-24
这些是不同的技术解决不同的问题，还是相同的技术但不同的产品？需要知道它们在技术方面的差异和相似之处，即从更广泛的角度来看，这两种技术在哪里适合？
注意:我不是要求产品比较(所以没有大猩猩和鲨鱼)。
浏览 0提问于2012-09-30得票数 4
2回答
有一些技术用于分布式存储，比如分布式哈希表(比如kademlia或类似的)。比特币区块链与分布式哈希表有何不同？或者可能是分布式哈希表技术支撑了比特币区块链？
浏览 2提问于2014-10-17得票数 25
回答已采纳
我试着自学数据库设计技术。由于facebook是大型数据处理系统的一个例子，我想知道如何处理这些海量数据。我只想知道他们是如何存储文本数据的，比如状态或注释。他们只是将其存储在MySQL数据库的某个表中，还是使用任何技术？此外，如果任何人都能为像图像或视频这样的媒体提供有关其存储技术的信息，这将是一个额外的好处。
(如果问关于一个组织的那种信息是违法的或不道德的，那么我很抱歉地问了)。
浏览 10提问于2014-06-04得票数 0
回答已采纳
我目前正在做的一个项目涉及到获取存储在文件中的大量结果，并根据这些结果进行计算。我一直在考虑使用RavenDB或使用带有文件流的SQL2008作为结果的存储。我不确定哪种技术最适合我的问题。有没有人对这些方法中哪一种最适合海量存储和可能的结果搜索有什么看法？
浏览 1提问于2011-02-08得票数 1
1回答
我想构建一个跨越多节点的B+tree弹性海量存储。距离扫描很重要。分布式数据库系统？(卡桑德拉，HBase)我希望另一个复制的主机成为主节点我不想使用DB实例的集合对于大规模扩展的存储系统
浏览 3提问于2011-12-14得票数 2
回答已采纳
Google描述了一个用于海量图的分布式处理的新框架。
我想知道是否类似于Hadoop (Map-Reduce)，这个框架有开放源代码的实现吗？实际上，我正在使用python和多处理模块编写一个伪分布式程序，因此想知道是否有人也尝试过实现它。因为关于这个框架的公开信息极其稀缺。(上面的链接和Google Research的一篇博客文章)
浏览 0提问于2010-06-07得票数 21
问题
现在我有一个.properties文件，在这里我存储了usb的挂载目录。还不够。我希望软件能够发现所有的USB海量存储设备，让用户选择哪一个使用存储文件。我怎么能这么做？
浏览 6提问于2010-09-30得票数 8
回答已采纳
4回答
因此，我研究了Python中使用的各种key:value (其中value要么是严格意义上的单个值，要么可能是对象)存储，并发现了一些很有前途的存储。我相信你们中的一些人已经尝试过了，所以我很想听听你们在不同方面的发现/问题/等等:使用Python进行价值存储。
浏览 8提问于2009-10-24得票数 13
回答已采纳
随着超收敛系统的发展，我们可以看到RAID以外的其他技术来处理分布式存储(例如ceph或VSAN或类似于nutanix的分布式存储)。谢谢你的指征。
浏览 0提问于2019-05-19得票数 9
回答已采纳
5回答
我想读取一个文本文件的内容(作为一个密钥)存储在USB海量存储中，当用户通过其匹配的用户名和该网站的密码进行身份验证时，自动。它类似于textfile(键)是扩展身份验证。很好的网络技术，但不是与本地应用程序。
浏览 3提问于2013-12-10得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
