如何将Spark结构化流数据写入Hive？有df.write().saveAsTable(tablename)，但是我不确定这是否写入流数据
我通常使用df.writeStream().trigger(new ProcessingTime(1000)).foreach(new KafkaSink()).start()将流数据写入Kafka，但我没有看到任何类似于将流数据</
浏览 4提问于2017-08-21得票数 3
我使用spark(3.0.0)结构化流从kafka读取主题。我使用了joins，然后使用了mapGropusWithState来获取流数据，因此，根据我对火花官方指南：的理解，我不得不使用更新模式。因此，我的问题是:在我的情况下，如何将流数据写入数据库或文件？我是否必须将数据写入kafka，然后使用kafka连接将数据读回文件/db？
附注：我跟踪了这些
浏览 5提问于2020-09-16得票数 0
我想将我的spark结构化流式处理数据推送到REST API。有没有人可以分享一下相同的例子。我发现很少，但所有都与spark流媒体有关，而不是结构化流媒体。
浏览 14提问于2019-01-18得票数 1
这是我的数据：|key|animal_type|value||123| cat|meows
浏览 3提问于2022-08-24得票数 0
回答已采纳
1回答
我不知道星火‘结构化API’是什么意思。如果你能更具体地告诉我，我将不胜感激。
对不起，我没有完美的英语。(我得到了翻译的帮助。)
浏览 1提问于2019-06-06得票数 2
回答已采纳
1回答
您能提供一些关于使用Python使用Azure Service Bus流消息的建议吗？因为我发现Azure Service Bus没有spark结构化流源，所以在这种情况下，我可以使用提供的Python客户端读取Azure Service Bus消息，然后从Python客户端读取每个消息并将其写入Kafka主题，在这个Kafka主题上，我将应用spark结构化流编程。我的用例是使用Azure Service Bus流消息，并通过将其转
浏览 0提问于2021-03-09得票数 0
1回答
在过去几年中，我们开发了相当多的星火流(Direct )应用程序，这些应用程序正在我们的Cloudera平台上读取或写入Kafka、IBM、Hive、HBase、HDFS和其他应用程序。什么是我们的火花流应用程序的自然替代？我们应该迁移到火花结构化流，或者更确切地说是卡夫卡流吗？
我个人对这两个框架没有任何经验，但在我看来，结构化流似乎是自然的选择。我们的代码库主要是用Scala编写的，它也可以用于结构化API。Ka
浏览 4提问于2020-02-19得票数 0
回答已采纳
kafka.bootstrap.servers", "host1:port1,host2:port2") .start()我已经做了: 1.从twitter 2获取流；2.筛选并映射它以获取每
浏览 2提问于2019-11-13得票数 1
回答已采纳
1回答
Spark结构化流不允许两个结构化流作业将数据写入相同的基本目录，而使用dstreams则可以这样做。由于默认情况下将为一个作业创建_spark_metadata目录，因此第二个作业不能像其他作业创建的_spark_metadata目录一样使用与基本路径相同的目录，因此将引发异常。是否可以在其他地方创建_spark_metadata目录，或者在不丢失任何数据的情况下禁用。
如果我必须更改这两个作业的
浏览 4提问于2020-01-17得票数 0
因此，我想将数据从Nifi直接发送到流引擎。但是，我不知道一些细节。
例如，结构化流；如果我直接将数据从Nifi发送到Spark结构化流，Spark收到了这些数据，但是Spark的节点被关闭了。火花节点中的数据会发生什么变化？( Spark结构化流是否有任何Nifi接收器？)在这种情况下，Spark结构
浏览 0提问于2019-02-14得票数 0
回答已采纳
2回答
我无法在官方文档中找到有关火种临时数据存储在磁盘上的信息，只能在一些火种优化文章中找到，比如。
UPD:找到了关于为什么会在发生这种情况的更多细节。在参考页面上查找“任务故障恢复”和“阶段故障恢复”主题。据我所知，为什么=恢复，为什么=总是，因为这是火花核心和洗牌服务的机制，负责数据传输。此外，所有Spark的API</e
浏览 3提问于2019-11-04得票数 4
回答已采纳
at org.apache.spark.sql.execution.datasources.DataSource.sourceSchema(DataSource.scala:251) at org.apache.spark.sql.execution.datasources.DataSource.sourceInfo:35)
浏览 18提问于2021-10-17得票数 4
回答已采纳
1回答
我使用Spark2.2.0。问题试图通过创建自定义接收器来回答非结构化流和scala的问题。 .format("s3-sqs") \ .option("queueUrl", .然而，如何直
浏览 3提问于2017-12-28得票数 15
回答已采纳
我使用Spark结构化流的流查询来使用以下代码将拼花文件写入S3： .start();
我在s3桶my-data-output-bucket-name中获得了所需的输出，但是与输出一起，我在其中得到了_spark_metadata如果我无
浏览 0提问于2018-06-13得票数 4
回答已采纳
1回答
我正在使用结构化流媒体来读取csvs和写入kafka。流选项卡未显示在Spark UI中(未使用流上下文)。val userSchema = new StructType().add("name", "string").add("age", "integer") .readStream.schema(userSchema) // Specify schema
浏览 16提问于2019-05-09得票数 1
回答已采纳
Spark公开了某些API端点(通常挂载在/api/v1)。他们是否有办法使用相同的spark服务器公开自定义端点？ (使用Spark 2.1.1，结构化流)
浏览 15提问于2019-02-18得票数 0
我试图将结构化蒸汽数据集保存到给定的Cassandra表中。我正在使用连接器版本火花- cassandra -连接器_2-11.jardataSet .format("org.apache.spark.sql.cassandraoption("table",table) .outputMode("append"
浏览 2提问于2019-05-30得票数 1
回答已采纳
我使用Scala中的Spark结构化流代码，以JSON数据格式使用Kafka主题中的数据，并将数据写入另一个kafka接收器。是否有可能找出成批进入日志文件的消息的编号。
浏览 0提问于2020-03-31得票数 0
2回答
排列星河数据集列
、、、
我正在使用Spark2.3.1的结构化流API。是否有可能在火花流数据的列中对值进行排序？我尝试使用下面的代码，然后在异常消息之后意识到流上下文不可能遍历整个窗口。.withColumn("rank", row_number().over(Window.orderBy($"transactionTime")))
org.apache.spark.sql.AnalysisException:流数据<
浏览 0提问于2018-07-06得票数 4
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
