使用Direct Kafka API运行spark流媒体应用所需的最佳资源是什么？

文章/答案/技术大牛

发布

1回答

python、pyspark、apache-kafka、spark-streaming

我使用直接的Kafka API以1分钟的批处理间隔运行我的spark流媒体应用程序，并在我的应用程序代码中使用Pandas和Pyspark。下面是我的集群配置:3个数据节点，每个数据节点具有8核、12 my的容量。我已经提供了如下参数的spark-submit作业， --master yarn

浏览 14提问于2017-08-28得票数 1

1回答

如何通过spark结构流在Kafka中以编程方式创建主题

apache-spark、apache-kafka、spark-structured-streaming

我想在我的Spark结构化流媒体应用程序中创建多个kafka主题运行时。我发现Java API中有各种可用的方法。但我找不到任何有Spark结构的流媒体。如果有什么方法可以使用或者我需要使用java库，请告诉我。我的apache Spark版本是2.4.4，Kafka库依赖是spark-sq

浏览 17提问于2019-11-28得票数 0

2回答

5分钟Spark批处理作业与流作业

apache-spark、spark-streaming

我正在试着找出什么是更好的方法。我有一个火花批处理作业，这是计划运行每5分钟，它需要2-3分钟来执行。由于已经添加了对动态分配spark.streaming.dynamicAllocation.enabled的支持，将其设置为每5分钟从源拉取数据的流式作业是一个好主意吗？

浏览 0提问于2019-07-24得票数 0

1回答

消费500个Kafka主题并编写拼图最好的策略是什么？

apache-spark、apache-kafka、apache-flink

我有500个Kafka主题。其中有些是TB级的；有些是每小时MB级的。我想将它们缓冲五分钟，并将它们作为拼图文件写入到S3上的特定位置。我正在尝试为我的Spark或Flink的问题找到最佳的解决方案。对于Spark，我可以使用结构化流媒体来消费Kafka，并按主题编写逻辑。如果我每个主题都有应用程序，我会浪费大量的资

浏览 13提问于2020-04-18得票数 0

2回答

如何使用direct* stream在Kafka Spark Streaming中指定消费群*

java、apache-spark、apache-kafka、spark-streaming、kafka-consumer-api

如何使用直播流API指定kafka spark流的消费组id。使用spark1.3 kafkaParams.put("group.id", "app1");

浏览 0提问于2016-04-09得票数 7

回答已采纳

2回答

在本地机器上集成Spark* Kafka进行实时twitter流媒体分析的缺点是什么？*

apache-spark、apache-kafka、spark-streaming、twitter-streaming-api、spark-streaming-kafka

我正在使用Spark-Kafka集成在我的项目上工作，这是找到twitter上的热门标签。为此，我使用Kafka通过tweepy Streaming推送推文，而在消费者端，我使用Spark Streaming进行DStream和RDD转换…… 我的问题是，通过Kafka运行流媒体进程一段时间是否会导致存储问题，因为我在本地机器上同时运行生产者和消

浏览 41提问于2020-01-06得票数 0

回答已采纳

1回答

Spark 1.5作为KAFKA 0.9或0.10的客户端

apache-spark、kafka-consumer-api

我可以使用Kafka consumer API编写Spark 1.5客户端，从KAFKA 0.9或0.10获取消息并对其进行处理吗？如果不能，那么使用Spark作为处理引擎获取消息并应用聚合和统计建模以生成最终输出的最佳方式是什么？

浏览 1提问于2016-07-28得票数 0

1回答

API调用的Spark Streaming架构

spring-boot、architecture、spark-streaming

这更像是一篇关于在spark streaming中做一些事情的适当方式的调查文章。我有一个接受Kafka Stream的Spark流媒体应用程序。在Kafka流中，对于我们收到的每条消息，我调用了2个API，它们将命中我在Postgres数据库上运行的Spring Boot服务器。我需要访问API服务器的原因是，随着时间

浏览 0提问于2016-09-02得票数 1

2回答

如何通过kafka使用来自其他虚拟机的Spark流

apache-spark、virtual-machine、apache-kafka、spark-streaming

我在一个虚拟机上有Spark Streaming，我想把它连接到另一个包含kafka的虚拟机上。我要斯帕克从卡夫卡机器里拿到数据。这样做有可能吗？谢谢

浏览 15提问于2016-08-26得票数 0

回答已采纳

1回答

从Spark* streaming读取Kafka SSL客户端信任库文件时出错*

ssl、apache-kafka、spark-streaming

我有一个Spark流媒体应用程序从Kafka读取。我在电子病历上运行它。最近我实现了Kafka SSL。我正在创建Kafka客户端，如下所示。当应用程序试图读取信任库文件时，我在运行应用程序时遇到一个奇怪的错误。: /tmp/kafka.client.truststore.jks (No such file or directory) 导致此问题的</e

浏览 21提问于2019-12-11得票数 1

回答已采纳

2回答

Spark Streaming: Kafka重启后输入速率不正常

apache-kafka、spark-streaming

我目前正在spark上运行一个流媒体应用程序，它使用新的直接方法(没有接收器)消费一个简单的kafka主题。由于我们在Kafka集群上遇到了一些问题，即使在Kafka上恢复正常后，流媒体应用程序也遇到了一些问题:一些作业正在处理几乎空的rdd，而另一些作业正在处理两倍大小的rdd。我试着重启应用程序，但没有什么不同。我在

浏览 0提问于2016-05-18得票数 0

1回答

无法读取卡夫卡火花流中的数据

pyspark、spark-streaming、databricks、spark-streaming-kafka

我正在创建一个基本的流媒体应用程序，它从kafka读取流数据并处理这些数据。下面的代码是我正在尝试的df = spark \.option("truncate", False)\ .l

浏览 6提问于2022-08-29得票数 0

2回答

Kafka流并发？

apache-kafka、apache-kafka-streams

我有一些基本的Kafka流代码，可以从一个主题读取记录，进行一些处理，并将记录输出到另一个主题。如果它是多线程的，我需要了解它是如何工作的，以及如何处理资源，比如SQL数据库连接应该在不同的处理线程中共享。相对于其他选项(Spark、Akka、Samza、Stor

浏览 1提问于2016-10-12得票数 27

回答已采纳

2回答

Spark结构化流媒体应用阅读多个Kafka主题

apache-spark、apache-kafka、spark-structured-streaming

我有一个Spark结构化流媒体应用(v2.3.2)，它需要从一些Kafka主题读取，做一些相对简单的处理(主要是聚合和一些连接)，并将结果发布到其他一些Kafka主题。因此，在同一个应用程序中处理多个流。我想知道从资源的角度(内存、执行器、线程、Kafka侦听器等)它是否会有所不同。如果我只设置一个直接readStream，它订阅多个主题，然后使用selects拆分流，而不是每个主题1个readS

浏览 28提问于2019-05-01得票数 11

回答已采纳

1回答

BeanCreationException:在Spark-Submit上创建名为'defaultValidator‘的bean时出错

spring-boot、apache-spark、apache-spark-sql、spark-submit、bootrun

使用spring boot创建了spark结构的流媒体应用程序。bootRun运行良好，但在使用"spark-submit“部署相同的jar时，给出了以下错误：compile('org.apache.spark:

浏览 1提问于2018-09-23得票数 0

1回答

Kafka消费者请求超时

apache-spark、apache-kafka、spark-streaming

我有一个Spark streaming (Scala)应用程序运行在CDH 5.13中，使用client 0.10.0使用Kafka的消息。我的Kafka集群包含3个代理。Kafka topic被划分为12个分区，均匀分布在这3个代理之间。我的Spark流媒体客户有12个执行器，每个执行器都有一个核心。Spark streaming开始从

浏览 0提问于2018-10-09得票数 1

1回答

哪些文件系统可用于检查点设置

apache-spark、hdfs、spark-streaming、checkpointing

文档说，任何与Hadoop API兼容的文件系统(如HDFS、S3 )都可以用作检查点目录。我的问题是，除了HDFS和S3之外，使用Kafka和Cassandra的spark流媒体应用程序还有什么其他实用的替代方案。谢谢

浏览 2提问于2016-01-07得票数 1

1回答

星火(直接)流的自然替代品是星火结构化流还是卡夫卡流？

apache-spark、apache-kafka、spark-streaming、apache-kafka-streams、spark-structured-streaming

在过去几年中，我们开发了相当多的星火流(Direct )应用程序，这些应用程序正在我们的Cloudera平台上读取或写入Kafka、IBM、Hive、HBase、HDFS和其他应用程序。现在取消了Spark流的Direct (我们目前有2.3.2版本)，并且我们最近向我们的项目添加了汇合平台(附带了Kafka 2.2.0)，我们计划迁移这些应用程序。我们的

浏览 4提问于2020-02-19得票数 0

回答已采纳

1回答

如何从Kafka访问记录中的文件路径并从创建数据集？

java、apache-spark、apache-kafka、spark-structured-streaming

我使用的是Java。我能够从Kafka消息中检索到文件路径。我不能在Kafka消息数据集上运行map函数。由于sparkContext在worker上不可用，因此出现NPE错误。我不能在Kafka消息数据集上运行foreach。，并且必须在很多设置中运行。如何从Kaf

浏览 0提问于2017-09-26得票数 4

1回答

Kafka 1.0 Streaming API: partitions消息消费延迟

java、apache-kafka、apache-kafka-streams

最近，我将我们的流媒体应用程序从spark-streaming 2.1切换到使用kafka-streaming新API (1.0)和kafka broker服务器0.11.0.0我在一台内存为32 GB、内核为8核的机器上运行了100线程的</e

浏览 17提问于2018-02-14得票数 1

回答已采纳

点击加载更多