风暴拓扑的完整延迟是否应等于(或接近)螺栓的总和？
风暴拓扑的完整延迟不应等于或接近螺栓的总和。风暴拓扑是指在分布式计算中，将任务分解为多个子任务并在多台计算机上并行处理的一种方式。每个子任务都会经过一定的计算和通信延迟，然后将结果汇总。螺栓是指在分布式计算中，将任务分解为多个阶段，并按照顺序依次处理的一种方式。每个阶段都会经过一定的计算和通信延迟，然后将结果传递给下一个阶段。
风暴拓扑和螺栓的延迟计算方式不同，因此它们的延迟总和也不同。在风暴拓扑中，每个子任务的延迟是独立计算的，而在螺栓中，每个阶段的延迟是依次累积的。因此，风暴拓扑的完整延迟不等于螺栓的总和。
风暴拓扑适用于需要实时处理和流式计算的场景，例如实时数据分析、实时推荐等。腾讯云提供的相关产品是腾讯云流计算 Storm，它是一种分布式实时计算系统，可用于构建高性能、高可靠的实时数据处理应用。您可以在腾讯云官网了解更多关于腾讯云流计算 Storm 的信息：https://cloud.tencent.com/product/storm
螺栓适用于需要按照顺序处理的场景，例如批量数据处理、数据清洗等。腾讯云提供的相关产品是腾讯云数据处理服务，它提供了一系列数据处理工具和服务，包括数据流引擎、数据仓库、数据集成等，可帮助用户高效处理和分析大规模数据。您可以在腾讯云官网了解更多关于腾讯云数据处理服务的信息：https://cloud.tencent.com/product/dps
相关·内容
我们有一个通常运行良好的storm拓扑。我们在日志中没有错误，而且时间很快。然而，有时我们会得到“完全延迟”的峰值。
所以我的问题是:是什么导致完整的延迟比单独的螺栓多得多？(如果有帮助，我们正在使用Microsoft spout和event hubs )。
浏览 11提问于2017-01-25得票数 0
回答已采纳
1回答
我知道storm提供了一种功能，您可以对处理的每一个元组进行压缩，但是如果我想评估风暴是如何执行的，并获得有关拓扑或螺栓的性能信息(例如，有多少次失败，每个螺栓的延迟等等)。
浏览 3提问于2013-10-18得票数 0
回答已采纳
2回答
我一直在阅读有关apache的文章，尝试过几个风暴启动程序的例子。还学习了如何调优拓扑，以及如何扩展拓扑，使其执行得足够快，以满足所需的吞吐量。我已经创建了示例拓扑，启用了加标，我能够实现3K-5K消息处理每秒。它在最初的10到15分钟或大约1百万到2百万的消息中表现得非常快，然后它开始减速。对于我尝试过的所有类型，我都得到了完全相同的行为，最简单的一个就是使用K
浏览 9提问于2015-09-13得票数 2
回答已采纳
我正在本地开发一个风暴拓扑。我正在使用Storm0.9.2-孵化，并开发了一个简单的拓扑。当我使用LocalCluster()选项部署它时，它工作得很好，但是它不会出现在我的Storm中--它只是执行。当我定期部署它时，它将显示我的Storm中的拓扑，但是当我单击它时，没有一个喷口或螺栓是可见的。
我也尝试了这个例子，WordCountTopology，在许多风暴启动项目。同样<e
浏览 0提问于2015-02-20得票数 1
回答已采纳
最近，我正在为风暴拓扑开发一些计时工具，但我仍然有一些关于在风暴集群中共享数据的问题：
如果在组件中(在prepare()或open()方法中)创建了一个名为“a线程”的
浏览 0提问于2015-05-19得票数 3
1回答
理解风暴拓扑可视化
、、、
我试图使用ApacheStorm1.0.2来处理源自Kafka的数据流。我试图使用作为storm一部分的风暴拓扑可视化来理解管道的性能。基于以下链接中提供的解释，我对可视化的理解如下：
如果颜色接近红色，则螺栓/喷口的容量较高。如果有高容量的</
浏览 0提问于2017-07-18得票数 3
回答已采纳
1回答
我有一个风暴拓扑，在两个节点上。一个是尼布斯，另一个是主管。其拓扑结构如下: 1.代理将数据传递给风暴喷口。2.喷口将数据传递给多个螺栓。3.最后一根螺栓将结果传回给代理。
我正在运行代理，并将数据传递到风暴中。我能够在拓扑端将套接字连接到监听器。喷口发出的数据在UI中显示为0。相同的</e
浏览 2提问于2014-07-23得票数 0
回答已采纳
我是Storm的新手，并创建了一个程序来读取某个时间递增的数字。我在Spout中使用了一个计数器，在"nextTuple()“方法中，计数器被发出并递增。.*/public void execute(Tuple input) {logger.info(outputCollector.ack(input);/*this part I am clear as Bolt would receive the i
浏览 3提问于2013-12-05得票数 9
回答已采纳
2回答
这是我正在使用的拓扑：builder.setBolt("exclaim1", new ExclamationBolt(), 6).shuffleGrouping("word");
我以为Storm会为这个拓扑生成9个执行器(3个spout+6个螺栓)，但当我实际运行它时，我可以看到11个执行器正在运行。这两个额外的执行器是什么？
浏览 1提问于2014-03-10得票数 6
我是storm的初学者。Storm的创建者创造了一种非常令人印象深刻的方法来检查拓扑中的每个螺栓，这是使用XOR。但我开始纳闷他为什么不用柜台。当成功执行Bolts时，计数器将为负1。所以当计数器等于0时，意味着整个任务完成了。
谢谢
浏览 6提问于2021-01-05得票数 0
2回答
默认情况下，当管口或螺栓遇到异常时，它会重新启动管口或螺栓，然后重试。是否有任何配置选项可以使其停止拓扑，也许在N次重复尝试之后？(例如，Hadoop在放弃之前尝试了4次。)我让Storm拓扑运行了77天，一个螺栓在每个元组上引发了一个异常。在这种情况下，我宁愿它失败，这样我就会注意到有些地方不对劲。
浏览 11提问于2014-03-27得票数 2
根据给定的链接，螺栓的容量是执行时间的百分比。因此，这个值应该总是小于1。但在我的拓扑中，我观察到它在某些情况下大于1。这是怎么可能的?它意味着什么？
浏览 0提问于2015-04-07得票数 2
1.我有一个拓扑(1个spout和3个螺栓)和3台机器(1个nimbus和2个工作节点).Whether我想在所有3个节点上运行我的拓扑还是在nimbus上运行就足够了？2.我的spout将在nimbus或任何工作节点上运行？4.如何跟踪节点中螺栓的处理？5.是否有任何文档可用于理解Storm中处理消息的</em
浏览 1提问于2014-02-22得票数 4
4回答
风暴与春季4集成
、、
我有一个原型风暴应用程序，它读取STOMP流并将输出存储在HBase上。它可以工作，但不是很灵活，我正试图让它与我们的其他应用程序的设置更加一致，但不太幸运地弄清楚了目前与Storm的工作方式。我们使用spring类，但不是以标准的spring方式使用它们，而是在运行时创建它们，并手动设置依赖项。这个项目：看起来很有希望，但是它已经有几年没被开发过了，而且自从暴风的罐子被放入Apache孵化器并重新打包之后，它的构建就不正常了。
有什么东西我错过了，还是不值得我花时间去
浏览 9提问于2014-07-03得票数 6
回答已采纳
我最近才发现了Storm爬虫，从过去的经验和研究中，我发现这个基于Apache的项目非常健壮，适合于许多用例和场景。我想做小的和大的递归爬行在许多web域与特定的速度设置和限制取回urls的数量。爬行可以在任何时候以不同的<
浏览 5提问于2017-05-22得票数 1
回答已采纳
2回答
我正在尝试编写一个拓扑，它执行以下操作：
我在本地测试过，看上去很管用。但是，我不确定是否正确地设置了螺栓上的分组，并且在实际的风暴集群上部署
浏览 1提问于2013-06-04得票数 11
1回答
仅在单个节点中运行的风暴式nimbus、主管和工作人员也配置了UI。奇怪的是，结果是出乎意料的：
我们的拓扑处理来自HDFS目录的xml文件流
浏览 1提问于2015-03-13得票数 0
2回答
这将使大约30页/秒，爬行延迟10秒。目前它是大约2页每秒。拓扑运行在带有
我目前的风暴爬虫架构是： - id: "spout"
className: "com.digitalpebble.stormcra
浏览 3提问于2018-06-20得票数 2
3回答
我是apache风暴和kafka的新手，作为POC的一部分，我正在尝试使用Kafka和apache风暴来处理消息流。我有3个节点kafka(这三个都运行在同一个服务器上)集群，并创建了8个分区的主题。我将KafkaSpout的并行性设置为8，螺栓的并行度也设置为8，并使用8个执行器和任务进行了尝试。我已经尝试设置了许多参数，无论是在卡夫卡水平，SpoutConfig水平和风暴级别，但我得到了非常高的整体延迟<
浏览 0提问于2015-08-03得票数 0
回答已采纳
3回答
在storm中使用“并行提示”来并行化正在运行的storm拓扑。我知道有一些概念，比如工作进程、执行器和任务。让并行度提示尽可能大，以便尽可能多地并行化拓扑是否有意义？我的问题是如何为我的storm拓扑找到一个完美的并行提示数。它是取决于我的storm集群的规模，还是更像是拓扑/作业特定的设置，不同的拓扑会有所不同？或者这取决于两者？
浏览 3提问于2013-12-04得票数 16
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
