1回答
我想从Kafka源创建Spark结构化流式作业读取消息，写入Kafka接收器，失败后将恢复只读取当前，最新的消息。出于这个原因，我不需要为我的工作设置检查站。但它看起来没有选项来禁用检查点，而写入到Kafka接收器的结构化流。据我所知，即使我指定了源代码：只有在第一次运行流时才会考虑它，并且在出现故障后，流</e
浏览 2提问于2020-06-23得票数 0
我想使用流处理的概念从本地目录读取文件，然后发布到Apache Kafka。我考虑过使用Spark Structured Streaming。此外，如果我们在结构化流媒体中使用检查点，当代码有任何升级或任何更改时，我们是否会有任何问题。
浏览 0提问于2019-02-25得票数 2
我们是否需要在Spark Structured Streaming中对Kafka的readStream和writeStream都设置检查点？何时需要对这两个流都设置检查点，还是只对其中一个流设置检查点？
浏览 2提问于2017-06-16得票数 3
回答已采纳
1回答
据我所知，spark structured是通过使用检查点实现容错的。
我想读卡夫卡的故事。假设我使用了检查点，然后由于某种原因，我的代码崩溃了/我停止了它，然后我希望当我重新运行代码时，它会恢复处理过的数据。我的问题是，在读取配置中，如果我将偏移量设置为最早，那么在重新运行代码后，我将再次读取相同的数据，如果我将最新设置为最新，则在重新运行代码之前，我不会读取代码崩溃之间的数据。有没有办法通过spark 2.3结构化流(p
浏览 1提问于2019-04-03得票数 0
我已经在Spark中创建了内存中的表，并尝试在失败后重新启动Spark结构化流作业。它得到“此查询不支持从检查点位置恢复。删除检查点/TEST_IN_内存/偏移以重新开始。”内存接收器中的检查点的概念是什么？有什么办法纠正吗？(我们能动态删除旧的和新的检查点吗？)
我正在使用DataStAX5.1.6集群，所以我没有选择--我必须只使用Spark2.0.2版本。val kafkaDataFrame
浏览 1提问于2019-08-18得票数 3
回答已采纳
1回答
我们使用连接到AWS Kinesis流的Spark流来聚合(每分钟)我们接收到的指标，并将聚合写入进水数据库，以便将它们提供给实时仪表板。docs说，库已经为失败、检查点等等做好了准备，但我想澄清一下检查点是如何在那里工作的。
假设我们都有检查点
浏览 2提问于2016-03-10得票数 9
我们有使用Spark Structured实现的流应用程序，它试图从Kafka主题读取数据并将其写入HDFS位置。有时应用程序会失败，并出现异常：java.lang.IllegalStateException: history/1523305060336/_spark_metadata/9.compact doesn
浏览 0提问于2019-05-31得票数 6
1回答
我有一个在Apache光束中开发的流管道(使用Spark Runner)，它从kinesis流中读取。我正在寻找Apache光束中的选项来管理运动检查点(即定期存储运动流的当前位置)，以便它允许系统从故障中恢复并在流中断的地方继续处理。有没有一个条款可用于支持类似于Spark Streaming的运动检查点(参考链接- )？
浏览 9提问于2020-06-08得票数 1
我们最近开始在蓝色数据砖上进行结构化流。目前，我们正在消费事件中心的事件，并将它们写到天蓝色数据蛋糕商店作为拼花。我能够将流写到控制台上，但是当我们尝试将它们写到任何物理存储(Blob/Azure Datalake) "java.util.NoSuchElementException: key not found:$$anonfun$getBatch$2.apply(EventHubsSource.scala:233)
at org.apache.spark.sql.eventhubs.EventHubsSource(E
浏览 0提问于2018-03-27得票数 0
回答已采纳
但是通过查看spark，在存储选项卡 -> 中，内存的使用会随着时间的推移而不断增加。
当我开始这项工作时，处理时间和总延迟(从图像中)是5秒，16天后增加到19-23秒，而流文件大小几乎相同。如果“内存中的大小”值继续这样增加，那么我迟早会耗尽RAM，火花作业也会因10G的执行器内存而再次<
浏览 0提问于2016-02-18得票数 4
1回答
火花结构化流检查点在生产中的使用
、、、、
当使用Spark结构化流时，我难以理解检查点是如何工作的。
将已连接的DataFrame写入HBase表。在每次运行此代码时，我都希望只从流中读取上一次运行中尚未读取</
浏览 7提问于2020-07-08得票数 3
2回答
我想要建立一个火花流管道，从多个卡夫卡主题(数字随时间变化)读取。我打算停止流作业，添加/删除新主题，并在需要更新流作业中的主题时再次启动作业，使用中概述的两个选项之一。subscribePattern", "topic.*") \df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
“不允许”一词意味着您
浏览 6提问于2020-06-09得票数 2
我正在探索使用Spark Structured Streaming设置检查点的选项，并让知道S3的“最终一致性”对来说并不理想。我在试着确定这是否准确？我怀疑Spark结构化流作业是否会写入检查点位置，然后在作业中从检查点位置读取，以确定从哪里继续。当前检查点不也存储在作业上下文中的内存中吗(这意味着不需要从S3读取来确定当前检查点)？我可以在S3上指定检查点的位置，但我正在尝试确定这是否违反最佳实
浏览 2提问于2020-07-15得票数 0
基于对Spark3.0，的介绍。应该可以设置"kafka.group.id“来跟踪偏移量。对于我们的用例，如果流火花作业失败并重新启动，我希望避免潜在的数据丢失。/target/sparktest-1.0-SNAPSHOT-jar-with-dependencies.jar
然后，我开始了流媒体工作，从Kafka主题中读取流数据。过了一段时间，我杀了火花工作。如果我正确理解，新的流数据应该从我杀死火花作业时的偏移开始。但是，它仍然是作为最新的偏移量开始的，这会在我停止作业期间
浏览 2提问于2020-09-22得票数 6
回答已采纳
我有Spark结构化流作业，启用了检查点，就像
df.writeStream .option("checkpointLocation", "s3://path/to/bucket/") .forEachWriterforeachwriter被设计为跳过坏记录，我们正在构建一个基于AWS Cloudtrail的仪表板来跟踪跳过的坏记录，所以我们可以进行必要的代码更改和重新部署，但是因为这个坏记录的偏移量已经被设置了检查点，所以S
浏览 0提问于2018-12-07得票数 0
我有Spark1.4流应用程序，它从Kafka读取数据，使用状态转换，并有15秒的批处理间隔。所以我的问题是：
浏览 2提问于2016-06-09得票数 2
回答已采纳
1回答
我正在尝试使用Kafka应用程序实现Spark Streaming，包括容错功能。当我重新启动应用程序时，它会读取在重新启动之前已经读取的消息，并且我的计算出错。请帮我解决这个问题。thriftConf = conf.getThriftConf(); .builder()
.appName(appName)
浏览 9提问于2017-12-18得票数 1
我正在使用全新的(标记为"alpha")的Spark2.0.2结构化流来读取kafka主题中的消息，并从其中更新两个cassandra表： } .awaitTermination
我还在sparkSession上配置了一个检查点位置但是，自从配置这个检查点位置以来，我注意到在恢复时，它也始终处理上一批的最后一条
浏览 1提问于2016-12-23得票数 1
回答已采纳
2回答
我们正在构建一个使用火花流和Kafka的容错系统，并且正在测试检查点火花流，如果火花作业因任何原因崩溃，我们可以选择重新启动它。下面是我们的火花过程：
浏览 1提问于2016-10-06得票数 2
4回答
我计划在HDFS中存储检查点。我读了一篇Cloudera博客，建议不要在HDFS中为Spark streaming存储检查点。结构流检查点也存在同样的问题吗？。在结构化流中，如果我的spark程序停机了一段时间，我如何从检查点目录中获取最新的偏移量，并在该偏移量之后加载数据。我将检查点存储在一个目录中，如下所示。files') \
.option("checkpointLocation",
浏览 3提问于2017-10-07得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
即时通信 IM
云直播
实时音视频活动推荐
腾讯云开发者
