开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

在Apache Storm中使用LocalCluster和StormSubmitter创建拓扑有什么区别？

在Apache Storm中，使用LocalCluster和StormSubmitter创建拓扑有以下区别：

LocalCluster：LocalCluster是用于本地开发和调试Storm拓扑的工具。它允许在本地运行Storm集群，模拟真实的分布式环境。使用LocalCluster创建的拓扑在本地运行，不需要连接到远程集群。这对于开发人员来说非常方便，可以快速测试和调试拓扑逻辑。
StormSubmitter：StormSubmitter用于将Storm拓扑提交到远程Storm集群中运行。它将拓扑打包成一个可执行的JAR文件，并将其提交到远程集群的Nimbus节点。StormSubmitter提供了一种将拓扑部署到生产环境的方式，可以实现高可用性和可伸缩性。

区别总结：

LocalCluster适用于本地开发和调试，而StormSubmitter适用于将拓扑提交到远程集群中运行。
LocalCluster在本地运行拓扑，不需要连接到远程集群，而StormSubmitter将拓扑提交到远程集群的Nimbus节点。
LocalCluster方便开发人员快速测试和调试拓扑逻辑，而StormSubmitter提供了一种部署拓扑到生产环境的方式。

对于Apache Storm的更多信息和使用方法，可以参考腾讯云的相关产品和文档：

相关搜索:在PySpark中，使用和不使用Vectors.dense创建DataFrame有什么区别？在Apache Hive中，“转义于”和“以终止的字段”之间有什么区别？在GCP中，从磁盘创建映像和从快照创建映像有什么区别？使用"let"和"var"在JavaScript中声明变量有什么区别？在创建系列时，使用pd.Index和显式列表有什么区别？在NodeJS中使用url模块和创建url类的实例有什么区别？在Redux中-使用store.dispatch()和dispatch()有什么区别吗？在IIS中创建虚拟目录和发布应用程序有什么区别？如何使用Apache POI在Word文件中创建小节、小节和小节？在何处查找使用Apache ActiveMQ artemis中创建的Artemis创建的队列和地址在Tensorflow 2中使用Dataset和ndarray的拟合方法有什么区别？在fluentd中"type json“和"parse json”有什么区别，我应该使用什么？在GCP中，SSH进入虚拟机和使用Cloud Shell有什么区别？在Angular 2+中，使用路由器插座和使用嵌套组件有什么区别在scala中创建带泛型类型和不带泛型类型的实例有什么区别？在intellij中的模块之间使用共享jars时，添加模块依赖项、库和全局库有什么区别？

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

【Storm篇】--Storm中的同步服务DRPC

一、前述 Drpc（分布式远程过程调用）是一种同步服务实现的机制，在Storm中客户端提交数据请求之后，立刻取得计算结果并返回给客户端。同时充分利用Storm的计算能力实现高密度的并行实时计算。...（其实，从客户端的角度来说，DPRC 与普通的 RPC 调用并没有什么区别。） DRPC设计目的是为了充分利用Storm的计算能力实现高密度的并行实时计算。...实现该函数的拓扑使用一个DRPCSpout 从 DRPC 服务器中接收一个函数调用流。DRPC 服务器会为每个函数调用都标记了一个唯一的 id。...(args[0], conf, builder.createRemoteTopology()); } } } 方法2：直接通过普通的拓扑构造方法TopologyBuilder来创建...drpc.servers: - "node1“ 启动DRPC Server bin/storm drpc & 通过StormSubmitter.submitTopology提交拓扑 ?

7653 0

大数据技术之_17_Storm学习_Storm 概述+Storm 基础知识+Storm 集群搭建+Storm 常用 API+Storm 分组策略和并发度

Apache Storm 是在Eclipse Public License下进行开发的，它提供给大多数企业使用。...Storm 使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。...2.1.4 转接头（Bolt）在拓扑中所有处理都在 Bolt 中完成，Bolt 是流的处理节点，从一个拓扑接收数据，然后执行进行处理的组件。...4.2 网站日志处理案例 4.2.1 实操环境准备 1）打开 eclipse，创建一个 java 工程 2）在工程目录中创建 lib 文件夹 3）解压 apache-storm-1.1.1，...7）Local or Shuffle Grouping：如果目标 bolt 有一个或者多个 task 在同一个工作进程中，tuple 将会被随机发送给这些 tasks。

2.6K2 0

远程IDEA调试Storm

现在IDEA编译成功topo后，使用WinSCP将打包好的包传到主节点注意：打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ] //本地测试模式 LocalCluster...：提交任务找不到主类等等 ---- 修改storm配置中的UI端口，只能！...在nimbus中修改在supervisor中修改会导致supervisor启动不了，会报一下错误 Caused by: while scanning a simple key in 'reader...此处使用先clean再使用pakage打包 1 storm jar simple-1.0.jar Random.FirstTopo Maven配置文件 <?...; import org.apache.storm.LocalCluster; import org.apache.storm.StormSubmitter; import org.apache.storm.topology.TopologyBuilder

1.5K2 0

Storm——分布式实时流式计算框架

（之所以Storm 0.9版本之后使用Netty，是因为ZMQ的license和Storm的license不兼容。）...1.Topology(译为拓扑结构) – DAG有向无环图的实现对于Storm实时计算逻辑的封装....如果目标bolt有一个或者多个task与源bolt的task在同一个工作进程中，tuple将会被随机发送给这些同进程中的tasks。...$ cd apache-storm-0.10.0 $ storm安装目录下创建log： mkdir logs $ ....启动DRPC Server bin/storm drpc & # 3. 通过StormSubmitter.submitTopology提交拓扑 ?

5K2 0

Storm组件介绍

（1）Topologies 拓扑解释：拓扑类似一个集装箱，所有的货物都会存储在集装箱里面最后被托运走，storm里面所有的代码和文件最终会被打包在一个拓扑中，然后提交在storm集群中运行，类似于...("mytopology", conf, topology); 本地模式 import org.apache.storm.LocalCluster; LocalCluster cluster = new...LocalCluster(); （2）Streams 数据流 Stream是Storm里面的核心抽象模型，在分布式环境下一个数据流是由无限的tuple序列组成，这些通过数据源并行的源源不断的被创建出来...，或者当没有消息的时候就return，需要注意，这个方法里面不能阻塞，因为storm调用spout方法是单线程的，其他的主要方法是ack和fail，如果使用了可靠的spout，可以使用ack和fail来确定消息发送状态...（7）Tasks 任务每个spout和bolt会执行多个task横跨整个集群，每个task会在一个线程中执行 stream grouping定义了每个task送到到那个下游的task中，在使用TopologyBuilder

9845 0

Storm(三)Java编写第一个本地模式demo

本地模式在本地模式下，Storm拓扑结构运行在本地计算机的单一JVM进程上。这个模式用于开发、测试以及调试，因为这是观察所有组件如何协同工作的最简单方法。...我们创建了第一个Storm工程以后，很快就会明白如何使用本地模式了。 NOTE: 在本地模式下，跟在集群环境运行很像。...远程模式在远程模式下，我们向Storm集群提交拓扑，它通常由许多运行在不同机器上的流程组成。远程模式不会出现调试信息，因此它也称作生产模式。...不过在单一开发机上建立一个Storm集群是一个好主意，可以在部署到生产环境之前，用来确认拓扑在集群环境下没有任何问题。...package com.qxw.topology; import org.apache.storm.Config; import org.apache.storm.LocalCluster; import

1.1K2 0

storm kafka 编程指南

一、原理及关键步骤介绍 storm中的storm-kafka组件提供了storm与kafka交互的所需的所有功能，请参考其官方文档：https://github.com/apache/storm/tree.../master/external/storm-kafka#brokerhosts （一）使用storm-kafka的关键步骤 1、创建ZkHosts 当storm从kafka中读取某个topic的消息时...真正使用时，有2种扩展，分别用于一般的storm以及trident。 ...需要编写的代码已完成，接下来就是在搭建好的storm、kafka中进行测试： # 创建topic ....有几点需要注意的：必须先创建msgTopic1、msgTopic2两个topic；定义的bolt必须使用BaseBasicBolt作为父类，不能够使用BaseRichBolt，否则无法记录偏移量；

2.1K9 0

Storm集群的DRPC模式

那么Storm实现DRPC主要是使用LinearDRPCTopologyBuilder这个类。下面就先来看看一个简单的例子，它的源码在github上。...import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.LocalDRPC; import...backtype.storm.StormSubmitter; import backtype.storm.drpc.LinearDRPCTopologyBuilder; import backtype.storm.topology.BasicOutputCollector...从下图可以看到两个supervisor分别有一个是运行两个worker，有一个是运行一个worker。 ok，下面是客户端调用远程资源进行计算的程序。...Storm进程通信机制分析 http://www.linuxidc.com/Linux/2014-12/110158.htm Apache Storm 的历史及经验教训 http://www.linuxidc.com

3022 0

【Storm篇】--Storm分组策略

有一点不同的是storm会把使用none grouping的这个bolt放到这个bolt的订阅者同一个线程里面去执行（未来Storm如果可能的话会这样设计）。 6....而且这种消息tuple必须使用 emitDirect 方法来发射。...如果目标bolt有一个或者多个task与源bolt的task在同一个工作进程中，tuple将会被随机发送给这些同进程中的tasks。...; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter...());// 本地模拟参数分别为名称，配置，构建拓扑结构。

1.4K2 0

大数据组件之Storm简介

在大数据处理领域，Apache Storm是一个实时计算系统，专为处理海量数据流而设计。它提供了分布式、容错、高可用的实时计算解决方案，让开发者能够轻松构建复杂的数据处理管道。...Topology（拓扑）在Storm中，一个Topology代表了一个实时计算任务的逻辑结构。你可以将其想象成一个由Spouts（数据源）和Bolts（数据处理节点）组成的有向无环图（DAG）。...import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.topology.TopologyBuilder...通过这个例子，可以直观感受到Storm处理数据流的流程。在上一部分中，我们介绍了Apache Storm的基本概念、工作原理以及一个简单的Word Count示例。...数据保护：确保敏感数据在处理过程中的安全，如使用加密算法处理数据。实战技巧1. 调试与日志优化使用Storm UI监控Topology状态，包括任务进度、错误率等。

5121 0

Twitter Storm: 本地模式简介

这篇文章主要介绍storm的两种操作方式之一: 本地模式。本地模式在一个进程里面模拟一个storm集群的所有功能，这对开发和测试来说非常方便。...要创建一个进程内“集群”，使用LocalCluster对象就可以了: 1 2 3 import backtype.storm.LocalCluster; LocalCluster cluster =...new LocalCluster(); 然后可以通过LocalCluster对象的submitTopology方法来提交topology, 效果和StormSubmitter对应的方法是一样的。...Config.TOPOLOGY_DEBUG 这个配置如果设置成true, storm会log下spout和bolt发射出来的所有消息，对于调试来说非常有用。

3342 0

storm togolopy转换jstorm topology

本文参照https://my.oschina.net/shyloveliyi/blog/785812中代码，进行转换。...#open(java.util.Map, org.apache.storm.task.TopologyContext, * org.apache.storm.spout.SpoutOutputCollector...#prepare(java.util.Map, org.apache.storm.task.TopologyContext, * org.apache.storm.task.OutputCollector...; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter.../jstorm list 另一种是在webui界面上查看

7042 0

Storm作业迁移Flink指引

修改依赖：在Storm作业工程的依赖文件pom.xml中去掉storm-core的依赖，然后加上如下依赖到pom.xml中； org.apache.flink...修改代码：找到Storm作业的Topology提交的代码逻辑，进行如下修改：将代码中的StormSubmitter修改为FlinkSubmitter，LocalCluster修改为FlinkLocalCluster...代码实现中可以使用org.apache.flink.storm.util.StormConfig指定Nimbus.host，以及Nimbus.thrift.port参数，对应于Flink的jobmanager...使用maven打包作业代码，执行命令mvn clean install –DskipTests，在作业工程的target目录找到打包后的jar； B....观察作业是否在Flink上正常运行，如下: [Storm 作业在Flink上运行] 并比较原本的storm作业和Flink作业运行结果是否正确；

1.9K7 0

Flume+Kafka+Storm+Hbase+HDSF+Poi整合

; import backtype.storm.StormSubmitter; import backtype.storm.generated.AlreadyAliveException; import...new LocalCluster(); localCluster.submitTopology("storm-kafka-topology", conf, builder.createTopology...; import storm.kafka.StringScheme; import storm.kafka.ZkHosts; import backtype.storm.Config; import backtype.storm.LocalCluster...; import backtype.storm.StormSubmitter; import backtype.storm.generated.AlreadyAliveException; import...new LocalCluster(); localCluster.submitTopology("storm-kafka-topology", conf, builder.createTopology

6991 0

strom架构和构建Topology

所有组件（spouts和bolts）及它们之间的关系请参考拓扑图1-1 ? 现在想象一下，很容易在整个Storm集群定义每个bolt 和spout的并行性级别，因此你可以无限的扩展你的拓扑结构。...Local or shuffle grouping：如果目标bolt有一个或者多个task在同一个工作进程中，tuple将会被随机发生给这些tasks。...你可以通过定义个storm.yaml在你的classpath里来覆盖这些默认配置。并且你也可以在代码里面设置一些topology相关的配置信息（使用StormSubmitter）。...主类你可以在主类中创建拓扑和一个本地集群对象，以便于在本地测试和调试。LocalCluster可以通过Config对象，让你尝试不同的集群配置。...但是如果你有一个非常大的日志文件呢？你能够很轻松的改变系统中的节点数量实现并行工作。这个时候，你就要创建两个WordCounter实例。

1.4K7 0

Storm流处理项目案例

1 package com.jun.it2; 2 3 import backtype.storm.Config; 4 import backtype.storm.LocalCluster;...5 import backtype.storm.StormSubmitter; 6 import backtype.storm.generated.AlreadyAliveException; 7...中的数据。...6.截图 7.添加配置文件　　这个是必须的，在window下面。...; 5 import backtype.storm.StormSubmitter; 6 import backtype.storm.generated.AlreadyAliveException;

1.1K3 0

Flume+Kafka+Storm整合

-1.6.0-bin.tar.gz --创建软链 ln -s /root/apache-flume-1.6.0-bin /home/flume --配置flume cd /root/apache-flume...root@node2:/ scp -r apache-storm-0.10.0 root@node3:/ --分别进入node2，node3创建软链 ln -r /root/apache-storm...------ Test 504 8.7.创建Topic:storm-to-kafka 在Kafka里面创建另一个topic： --进入node1，创建一个topic：storm-to-kafka --设置...topic： storm-to-kafka // withTupleToKafkaMapper tuple==>kafka的key和message KafkaBolt kafka_bolt...localCluster = new LocalCluster(); localCluster.submitTopology("storm-kafka-topology", conf

1K3 0

面经：Storm实时计算框架原理与应用场景

应用场景与最佳实践：能否列举并解释Storm在日志处理、实时推荐、金融风控等领域的应用？在实践中如何优化Storm Topology的性能、资源利用率？...Topology：由Spout和Bolt组成的有向无环图（DAG），描述了数据流的处理逻辑。Tuple：Storm的基本数据单元，包含一组键值对。...import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.generated.StormTopology...Storm部署与运维在本地通过LocalCluster启动Topology进行调试。在集群环境中，需部署Nimbus、Supervisor节点，通过storm jar命令提交Topology。...结语深入理解Apache Storm实时计算框架的原理与应用场景，不仅有助于在面试中展现扎实的技术基础，更能为实际工作中构建高效、可靠的实时数据处理系统提供强大支持。

2441 0

IDEA中运行Topology

基本调试过程现在IDEA编译成功topo后，使用WinSCP将打包好的包传到主节点注意：打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ] //本地测试模式 LocalCluster...提交任务找不到主类等等修改storm配置中的UI端口，只能！...在nimbus中修改在supervisor中修改会导致supervisor启动不了，会报一下错误 Caused by: while scanning a simple key in 'reader...此处使用先clean再使用pakage打包 storm jar simple-1.0.jar Random.FirstTopo <?...此实例可以放在集群中提交，但是在集群中无法验证是否执行成功因为代码中只有 [ 系统输出 ] 在集群中提交并不会将输出写入日志，也就是说，查看日志等方法无法知道是否执行成功，唯一的方式是

7533 0

Twitter Storm 集群搭建

(配置) StormSubmitter/LocalCluster(拓扑提交器) Storm集群部署 Storm集群架构: 如图: image.png 在Storm的集群里面有两种节点：控制节点和工作节点...3.42storm.local.dir: Nimbus和Supervisor进程用于存储少量状态，如jars、confs等的本地磁盘目录，需要提前创建该目录并给以足够的访问权限。...然后在storm.yaml中配置该目录，如： storm.local.dir: "/usr/storm/workdir" 分别启动三台机器 master:到storm的bin目录下 ..../logs/su.log 2>&1 & (启动后台进程,并把正确和错误的信息输出到该文件中) 在master上启动UI管理界面 ....至此，Storm集群已经部署、配置完毕，可以向集群提交拓扑运行了

3701 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭