2回答
我理解spark在并行和间接处理大规模数据方面的优势。
但是，在从S3 /向S3读取/写入数据时，如何不遇到读/写数据方面的瓶颈。这是由S3存储服务以某种有效的形式处理的吗？S3是分布式存储吗？
浏览 1提问于2016-11-05得票数 2
回答已采纳
有没有人知道有什么链接、论文、演示文稿或博客文章描述了建立在分布式键/值存储基础上的大规模全文搜索引擎？
我对索引的组织特别感兴趣。确切地说，数据结构是什么？字典和帖子存储在哪里以及如何存储？
浏览 4提问于2010-12-15得票数 4
回答已采纳
3回答
因此，如果我需要实现跨数据库的大规模并行分布式计算...目前(在RDBMS范例中)有哪些方法可以实现高可伸缩性的分布式计算？
数据库集群和镜像对分布式计算有什么贡献吗？
浏览 2提问于2010-11-02得票数 1
回答已采纳
1回答
我使用GraphFrame创建了15k图形对象。这些图很小(每个图有10-100个节点，10-100个边)。我只需要在每个图上应用最短路径和某些其他算法。我目前的实现是使用for循环循环遍历所有15k图。令人惊讶的是，集群模式比客户端模式慢得多。集群的配置(星火独立)
客户端模式的配置：
客户端模式：Spark Context default degree of parallel
浏览 3提问于2017-09-05得票数 1
是否可以确定我是否可以安全地从一个新的远程存储库中提取，即两个存储库共享一个共同的祖先？我正在编写一个程序，用于自动克隆和更新大量的git、hg等存储库，并且我希望无缝地处理远程存储库移动到新URL的情况。看来git将允许我从任何遥远的、可能造成大规模冲突的地方撤出。Svn有存储库uuid来确定是否可以切换到新的url。我意识到git是分布式的，而且很容易分叉，所以uuid没有真正的意义，但是git中是否有类似的特性/功能呢？
浏览 1提问于2011-04-21得票数 2
回答已采纳
完全的理论问题:如果一个文件系统存在，那么块链中的每个用户都会在他们的机器上投入一些带宽和存储，作为分布式网络上大规模RAID版本的一部分？
浏览 0提问于2016-07-08得票数 -1
1回答
我想构建一个跨越多节点的B+tree弹性海量存储。距离扫描很重要。分布式数据库系统？(卡桑德拉，HBase)(即如果主机发生故障并且它主存的所有节点都离线，服务器并替换故障主机)(1个节点，1个DB)作为分片不是一个好的选择
对于大规模扩展的存储系统
浏览 3提问于2011-12-14得票数 2
回答已采纳
我所理解的是:它最适合大规模的web应用程序(如google和amazon)。它们主要集中在非常大的分布式数据存储上。
这如何帮助小型初创公司寻找现有的成本高昂的替代数据存储。
浏览 0提问于2009-07-22得票数 2
回答已采纳
2回答
重复密钥过滤
、、、
我正在寻找一个分布式解决方案，以实时屏幕/过滤大量的密钥。我的应用程序每天生成超过1000亿条记录，我需要一种从流中过滤副本的方法。我正在寻找一个系统来存储一个滚动10天的密钥，大约100字节每键。在使用Hadoop之前，我想知道这类大规模问题是如何解决的。HBase是否是正确的解决方案？有没有人尝试过像“动物园管理员”这样的部分内存解决方案？
浏览 3提问于2013-11-21得票数 2
回答已采纳
1回答
我需要将点击数据存储在某个数据库中，以便可以将其用于报告和监控目的。点击数据将包含信息，例如谁将用户引用到此站点，用户从哪里来，他们什么时候来等。是否有一种方法可以存储这些数据，然后以10分钟为间隔进行分析，这样您就可以每隔10分钟获得站点运行情况的概述。哪种类型的数据库最适合于此目的，以及哪种分析工具可以从该数据快速生成有意义的信息。
浏览 1提问于2011-04-08得票数 2
回答已采纳
1回答
我正在为大规模分布式系统(在AWS上)实现断路器设计模式。我需要一些关于后端监控数据库实现的建议。基本上，我需要一个数据库/守护进程/服务，它可以执行以下操作：
是否有适合这项任务的现有数据库或其他软件？我怀疑Netflix会给我他们的;)
浏览 3提问于2012-01-11得票数 2
回答已采纳
2回答
我正试图找出谷歌趋势背后的系统设计(或者任何类似Twitter这样的大规模趋势功能)。
用户的每个搜索项都将维护一组属性，这些属性将被存储并最终处理。
以及按时间戳、搜索区域、类别等维护搜索列表。换句话说，如果有一个大的数据集，他们如何以分布式、可扩展的方式找到前10项呢？
浏览 3提问于2013-09-27得票数 10
回答已采纳
4回答
每当我在S-Plus中运行大规模蒙特卡洛模拟时，我总是在等待它完成时长出胡须。
在R中运行蒙特卡洛模拟最好的技巧是什么？有没有以分布式方式运行进程的好例子？
浏览 0提问于2009-09-10得票数 7
回答已采纳
我在我的DataFlow管道(2.29.0)中使用google-cloud-storage (1.54.0)将文件写入Google Storage。我随机地看到了下面的错误。 来自worker: java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeException: com.google.cloud.storage.StorageException: Socket closed org.apache.beam.runners.dataflow.worker.GroupAlsoByWindowsParDoFn$1.outp
浏览 56提问于2021-10-05得票数 0
1回答
在最初的中，Sergey和Lawrence解释说，他们没有直接在存储库中保存爬行网页的HTML内容，因为他们想节省一些HDD空间。以下是这一段：
存储库包含每个网页的完整HTML。与zlib的3比1压缩相比，bzip在存储库上的压缩率约为4比1。在存储库中，文档一个接一个地存储，并以docID、长度和URL作为前缀，如图2所示，存储库不需要使用其他数据结构来访问它。这有助于提高数据的一致性，并使开发更加容易；我们只能从存储库和一个列出爬虫错误的文件重
浏览 1提问于2019-08-16得票数 0
回答已采纳
2回答
我从未使用过像neo4j这样的图形数据库，我想知道它们是否支持简单的复制和集群分发以及键值数据库，或者是否存在固有的结构使其变得非常困难/缓慢。
浏览 0提问于2012-09-06得票数 2
我正在为大规模数据(大约100 on )上的分析查询(交互式和批处理)评估分布式查询引擎。但是，除非数据与HyperLogLog值一起以汇总的形式持久存储，否则必须动态计算数据。对于大型数据集，我认为我的查询不会在一秒钟内完成。考虑到与Druid不同，Presto从外部存储(Hive/Cassandra/RDBMS等)查询数据，我不确定是否支持摄取时间汇总，除非Presto的本地存储支持它们。有人能确认一下吗？
浏览 8提问于2017-08-14得票数 0
1回答
我开始了解hadoop。我对它有了一些了解，但是当我读到关于Hive，Pig和其他Apache工具时，我感到很困惑。因此，有人能简单地概述一下hadoop和Apache的工具(Hive、Pig、等)，我想知道它们在处理大数据时是如何和在哪里使用的。
浏览 3提问于2014-05-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
