是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
Hadoop到底是干什么用的，主要的应用场景和应用领域是什么，主要解决的核心问题又是什么，我们个人可以用它来干什么 产生价值呢?
浏览 940提问于2020-09-24
4回答
因此，我研究了Python中使用的各种key:value (其中value要么是严格意义上的单个值，要么可能是对象)存储，并发现了一些很有前途的存储。我相信你们中的一些人已经尝试过了，所以我很想听听你们在不同方面的发现/问题/等等:使用Python进行价值存储。
浏览 8提问于2009-10-24得票数 13
回答已采纳
2回答
我试图分析包含follower和followee对的社交网络数据。我想找到十大用户中使用MapReduce最多的用户。然而，对于这些数据，我不知道如何在分布式系统中对它们进行排序。非常感谢。
浏览 0提问于2018-03-20得票数 0
回答已采纳
1回答
我想构建一个跨越多节点的B+tree弹性海量存储。距离扫描很重要。分布式数据库系统？(卡桑德拉，HBase)我对具有内置冗余的B+Trees特别感兴趣我希望另一个复制的主机成为主节点服务器并替换故障主机)(1个节点，1个D
浏览 3提问于2011-12-14得票数 2
回答已采纳
我目前正在使用我们基于Kafka的数据分析管道从源系统获取大量日志文件。在摄取期间，我没有在producer中使用任何形式的延迟/暂停，我只是从日志文件(包含JSON)中读取并将其发送给Kafka。还有没有其他东西可以进行微调，以便在不丢失任何数据的情况下启用此注入管道？
干杯！
浏览 1提问于2018-05-08得票数 0
1回答
我有一个要求，我需要获取USB海量存储元数据VID，PID和串行编号。现在我想要的是基于驱动器的字母，需要检索USB海量存储元数据。
提前感谢您的支持。
浏览 5提问于2014-04-10得票数 1
回答已采纳
1回答
我试图在对象存储(Openstack)前面实现一个虚拟文件系统结构。出于可用性原因，我们最初选择了Cassandra，但是在设计文件系统数据模型时，它看起来像一个类似关系模型的树结构。在可用性和分区容限方面，我们需要NoSQL，但我们的数据模型是关系型的。
预期的文件系统必须能够尽可能快地处理基于日期、名称等的过滤搜索。那我该走哪条路呢？坚持使用一些由Apache等第三代工具支持的索引机制，或者深入研究NoSQL，找到一个适合该模型的模型和数据库？
浏览 0提问于2012-12-04得票数 3
回答已采纳
Google描述了一个用于海量图的分布式处理的新框架。
我想知道是否类似于Hadoop (Map-Reduce)，这个框架有开放源代码的实现吗？实际上，我正在使用python和多处理模块编写一个伪分布式程序，因此想知道是否有人也尝试过实现它。因为关于这个框架的公开信息极其稀缺。(上面的链接和Google Research的一篇博客文章)
浏览 0提问于2010-06-07得票数 21
1回答
存储海量数据
、、、
我有很多数据，像300x68k这样的点存储为双精度，它代表磁场，我需要在我的Android应用程序中使用这些点。但是它大约是80MB，我认为这是一个巨大的数据，把它写到表中并不是很有效率。所以我有一个问题:我应该如何存储它才能以真正快速的方式访问这些数据？快，我是说女士。
浏览 1提问于2015-11-12得票数 1
8回答
你好，我是hbase和hadoop的新手。我找不到为什么我们要在hbase上使用hadoop。我知道hadoop是一个文件系统，但是我读到我们可以在没有hadoop的情况下使用hbase，那么我们为什么要使用hadoop呢？
浏览 1提问于2012-05-19得票数 10
回答已采纳
我是一名应用金融计量经济学专家，研究海量数据集。我想知道我是否可以在TensorFlow的基础上建立计量经济学模型。这是可行的吗？优点和缺点是什么？
我对构建并行和分布式解决方案特别感兴趣。
浏览 6提问于2016-06-05得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
