我应该为spark streaming使用多少个执行器
对于Spark Streaming的执行器数量，可以根据以下几个因素来确定：
- 数据量和处理需求：如果数据量较大或处理需求较高，可以增加执行器数量以提高并行处理能力。
- 集群资源：根据集群的可用资源情况来确定执行器数量。如果集群资源充足，可以增加执行器数量以充分利用资源。
- 数据分区数：Spark Streaming的并行度与数据分区数相关。通常情况下，每个执行器处理一个数据分区，因此可以根据数据分区数来确定执行器数量。
- 硬件配置：执行器数量也受限于集群的硬件配置。如果硬件资源有限，可能需要限制执行器数量以避免资源竞争和性能下降。
总结起来，确定Spark Streaming的执行器数量需要综合考虑数据量、处理需求、集群资源、数据分区数和硬件配置等因素。根据具体情况进行调整，以达到最佳的性能和资源利用率。
腾讯云相关产品推荐：腾讯云弹性MapReduce（EMR）是一种大数据处理和分析的云服务，可以灵活调整集群规模和配置，适用于Spark Streaming等实时数据处理场景。详情请参考：https://cloud.tencent.com/product/emr
相关·内容
我必须编写火花流(createDirectStream应用程序接口)代码。我将每秒接收大约90K条消息，因此使用100个分区用于kafka主题以提高性能。 你能告诉我我应该使用多少个遗嘱执行器吗？我可以使用50个executor和每个executor 2个内核吗？ 另外，假设批量间隔为10秒，kafka topic的分区数为100，我会从每个kafka分区收到100个RDD，即1个RDD吗？
浏览 8提问于2019-02-07得票数 0
我正在尝试执行下面的火花流示例代码。
我正在一个AWS EMR集群上运行它，它的版本为SparkVersion2.0.2。下面的依赖项被添加到星火提交中。at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$org$apache$spark$sql$execution$streaming$spark$sql$execution$streaming$StreamExecu
浏览 2提问于2017-06-06得票数 0
回答已采纳
我正在从事火花流媒体项目。Spark从kafka获取数据。我想通过spark-streaming限制记录消耗。关于卡夫卡的数据非常庞大。我使用spark.streaming.kafka.maxRatePerPartition=1属性来限制spark中的记录。但是仍然在5分钟内，我收到了13400条消息。我的spark程序每5分钟不能处理超过1000条消息。Kafk
浏览 17提问于2018-02-06得票数 0
我有一个名为topic_1的主题，并创建了4个分区。我需要在Kafka spark stream中并行阅读。所以我需要创建一个消费者组和消费者。
你能帮帮我吗?我该怎么做？
浏览 0提问于2020-10-15得票数 0
1回答
使用，使用Cloudera解决方案，我使用的是3个执行器，但是当我启动应用程序时，使用的执行器只有一个。如何使用多个执行器？命令启动：--deploy-mode cluster \--confspark
浏览 0提问于2018-04-27得票数 2
回答已采纳
在开发期间，我一直在“客户端”模式下运行spark作业。我使用"--file“与执行器共享配置文件。驱动程序正在本地读取配置文件。现在我想在“集群”模式下部署作业。我现在很难与驱动程序共享配置文件。例如，我将配置文件名作为extraJavaOptions传递给驱动程序和执行器。我正在使用SparkFiles.get()读取文件
val configFile = org.apache.<
浏览 0提问于2016-10-21得票数 9
我遇到了以下异常:已启用线程"main“java.io.NotSerializableException: DStream检查点中的异常，但DStreams及其函数是不可序列化的 - object (class org.apache.spark.streaming.dstream.ForEachDStream, org.apache.
浏览 6提问于2016-08-25得票数 2
我确实看到我们需要在生产者端进行更改，以使用Gzip压缩，但我不确定如何在阅读消息时解压。请把灯熄灭，告诉我从哪里开始。我有我的端到端流工作的未压缩的消息。
谢谢
浏览 0提问于2017-12-20得票数 2
我正在将Spark结构化流应用程序部署到Google引擎，在使用gs:// URI方案访问桶时，我面临以下例外情况： at org.apache.spark.sql.execution.streaming.MicroBatchExecution:46
浏览 2提问于2021-02-04得票数 2
回答已采纳
如何在使用独立群集管理器时配置SPARK_WORKER_CORES和SPARK_EXECUTOR_CORES的核心数量。
浏览 10提问于2020-08-26得票数 0
2回答
spark流中奇怪的延迟
、、、、
我最近一直在使用spark streaming来处理kafka中的数据。大多数情况下，数据处理在1-5秒内完成。我意外地发现Kafka的request.timemout.ms默认设置为40秒，并将此设置更改为10秒。实际处理时间为1-5秒。我不能理解这种延迟。我的环境如下所示。Spark s
浏览 2提问于2017-01-18得票数 4
1回答
我阅读了集群模式概述(链接：)，我想知道如何将驱动程序、执行器和工作节点等组件映射到Spark生态系统的组件上，如Spark核心、Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX和调度/集群管理器。这些组件中的哪些是用于驱动程序、执行器和工作节点的？
所以基本上我的问题是，在Spark的组件(图1)和<
浏览 11提问于2021-11-30得票数 0
在使用streaming-kafka-0-8-integration Direct方法的spark streaming期间，如果批处理正在排队，执行器是否会将排队批处理的数据拉入其内存？
浏览 10提问于2018-02-05得票数 0
Kafka DirectStream的火花流问题：
1)调整spark.streaming.kafka.consumer.poll.ms增长2)将执行器内存从1G调整为2G。")
.config("spark.streaming.receiver.maxRate", &q
浏览 4提问于2017-02-16得票数 6
2回答
我正在尝试使用"spark.jars“属性在spark作业中添加我的自定义jar。虽然我可以读取添加jar的日志中的信息，但是当我检查添加到类路径中的jar时，我没有发现it.Below是我也尝试过的函数。1)spark.jars3)spark.executor.extraLibraryPath但没
浏览 4提问于2018-03-21得票数 0
这是我的submit命令，我不知道如何在我的终端窗口关闭时在后台运行它：
提交-主火花://主火花:7077-执行器-内存2G -总-执行器-核心2-包org.apache.spark:spark-streaming-kafka
浏览 4提问于2016-02-23得票数 1
回答已采纳
我已经通过spark批处理作业在hdfs中持久化了机器学习模型，我在我的spark streaming中使用了这个模型。基本上，ML模型是从spark驱动程序广播给所有执行器的。有人能建议我如何在不停止spark streaming作业的情况下实时更新模型吗？基本上，当有更多的数据点可用时，将创建一个新的ML模型，但不知道如何将新模型发送到spark execut
浏览 11提问于2018-02-12得票数 2
2回答
纱线火花流:执行器未得到充分利用
、、、、
我和亚恩一起运行火花流-
spark-submit --master yarn --deploy-mode cluster --num-executors 2 --executor-memory 8g然后，我执行foreachPartition，并将每个分区写入本地文件，然后通过http (使用apache同步客户端和池管理器，通过post通过多个部分通过post)将其发送到其他服务器(而不是spark通过Spark显示，在单个执行器上总共执行了16个任务，每次执行8个
浏览 3提问于2016-12-27得票数 2
1回答
假设我们没有任何时间限制，我们是否可以使用spark处理1tb的数据，以及2个具有5 gb内存的执行器each.if，而不是需要多少个执行器。
浏览 3提问于2019-09-24得票数 0
1回答
我有一个Spark streaming (Scala)应用程序运行在CDH 5.13中，使用client 0.10.0使用Kafka的消息。我的Kafka集群包含3个代理。我的Spark流媒体客户有12个执行器，每个执行器都有一个核心。Spark streaming开始从Kafka读取每批数百万条消息，但由于Spark无法应对负载和创建未处理批量的队列，因此将消息
浏览 0提问于2018-10-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
