我有一个Spark流媒体应用程序从Kafka读取。我在电子病历上运行它。最近我实现了Kafka SSL。我正在创建Kafka客户端，如下所示。当应用程序试图读取信任库文件时，我在运行应用程序时遇到一个奇怪的错误。DataStreamReader df = session.readStream()
.format("kafka&q
浏览 21提问于2019-12-11得票数 1
回答已采纳
我正在尝试通过spark structured streaming从Kafka中读取数据。Streaming?)。然而，由于没有设置，spark只是生成组Id，而我停留在GroupAuthorizationException： 19/12/10 15:15:00 ERROR streaming.MicroBatchExecution有趣的是，我可以通过kafka-console-consumer.sh读取<
浏览 166提问于2019-12-10得票数 1
回答已采纳
<String, String>Subscribe(topics, kafkaParams)}
上面的代码与密钥库文件的本地路径一起工作。如何将文件keystore放在一个公共位置(如HDFS)，并在spark应用程序中使用它们来创建直接流(创建kafka消费者)或为每个rdd创建kafak生产者(因为这些将在工作节点/执行器上执行)？当我尝试像通常在kafka客户端属性中那样使用hdfs文件位置时</
浏览 0提问于2017-03-21得票数 3
我试图在DC/OS平台上运行spark streaming作业，但我遇到了kafka包的问题。当我尝试使用--jars模式包含Kafka库和它的依赖项(从Maven下载的jar文件，添加到artifactory并从中读取)时，如下所示：
dcos spark run --submit-args"/spark-streaming 2.11-2.2.1.j
浏览 9提问于2018-11-19得票数 0
我正在尝试从Kafka中读取，并使用Spark Structured Streaming写入Kudu Sink。下面是读写的代码。 .option("kafka.sasl.mechanism" , "GSSAPI")
.option("kafka.ssl.trusts
浏览 0提问于2020-05-07得票数 0
从服务器上，我能够连接并从配置了SSL的远程kafka服务器主题中获取数据。在GCP中，如何使用Google Dataflow管道通过SSL信任库、密钥库证书位置和Google服务帐户json连接到远程kafka服务器？如果我指向GCS上的证书，当证书指向Google存储桶时，它会抛出错误。信任库、密钥库位置指向本地计算机的/tmp目录证书的代码，以防K
浏览 13提问于2019-01-24得票数 1
回答已采纳
我已经使用scala为Kafka中的自定义生产者写了一个小代码，它给出了下面的错误。我已经附加在代码部分的代码。我附上了一些代码作为参考。
浏览 1提问于2019-03-28得票数 0
我正在尝试使用结构化流从Kafka代理读取一些数据，以将其显示在Zeppelin笔记中。我正在使用Spark 2.4.3，Scala2.11，Python2.7，Java9和Kafka 2.2，在Heroku上启用了SSL，但得到了StreamingQueryException：'Failed我使用以下依赖项(在Spark解释器设置中设置)：
org.apache.spark:spark-streaming
浏览 27提问于2019-08-03得票数 1
1回答
因为我发现Azure Service Bus没有spark结构化流源，所以在这种情况下，我可以使用提供的Python客户端读取Azure Service Bus消息，然后从Python客户端读取每个消息并将其写入Kafka主题，在这个Kafka主题上，我将应用spark结构化流编程。我的用例是使用Azure Service Bus流消息，并通过将其转换为时间流数据库InfluxDb或Pramethoues来编写每条消
浏览 0提问于2021-03-09得票数 0
1回答
我正在运行火花流作业，使用Direct从kafka消费(对于Kafka0.1.0或更高版本)。org/apache/kafka/clients/consumer/ConsumerRecords.class
但是，当我在集群上运行火花提交作业时(主服务器同时作为本地和纱线)，我会得到以下例外。-- https://mvnrepository.com/artifact/org.apache.spark
浏览 2提问于2020-05-06得票数 0
回答已采纳
1回答
为客户端获取证书，并在客户端密钥存储库中配置它 ssl.keystore.password=xxxxx
使用keytool命令从客户端证书中提取公共证书。ssl.truststore.location=/home/kafka/truststore.
浏览 26提问于2021-06-04得票数 2
我正在接收Kafka消息上的文件路径。我需要将这个文件加载到spark RDD中，对其进行处理，然后将其转储到HDFS。我不能在Kafka消息数据集上运行map函数。由于sparkContext在worker上不可用，因此出现NPE错误。它会出错，并显示以下消息：
Queries with streami
浏览 0提问于2017-09-26得票数 4
1回答
.save() # SCHEMA正式文件对上述参数的解释如下：
启用或禁用火花流的内部背压机制(自1.5起)。此速率是由spark.streaming.rece
浏览 0提问于2021-09-13得票数 4
回答已采纳
2回答
我一直试图使用与SASL_SSL连接到Kafka集群。我已将jaas.conf文件传递给执行者。我似乎无法设置密钥库和信任库身份验证的值。/jaas.conf" \--conf "<em
浏览 0提问于2020-02-28得票数 3
回答已采纳
但是，每当我尝试添加合并策略时，我都会得到一个看似随机的编译MatchError：我显示了这个卡夫卡库的匹配错误，但是如果我完全取出这个库我已经尝试过较早的m
浏览 0提问于2016-04-08得票数 2
回答已采纳
我试图使用Spark结构化流2.3从Kafka ()读取数据，并将其保存到一个1.1IBMAnalytics引擎集群上的IBM对象存储中。/start_spark.sh
现在，在火花壳中，读取Kafka (信息中心)流。option("kafka.security.protocol", "SASL_SSL").option("kafka.ssl</e
浏览 2提问于2018-08-22得票数 2
回答已采纳
下面是试图读取流时所收到的错误。读取流时，Databricks无法找到keystore文件。df = spark.readStream \ .option("kafka.bootstrap.servers","kafka server with portdbfs中，并且还能够读取该文件。我们还在数据库
浏览 7提问于2022-11-08得票数 1
.option("kafka.ssl.enabled.protocols", "TLSv1.2") .load() name := "kafka-streaming"
浏览 0提问于2019-06-08得票数 1
回答已采纳
在spark批处理作业中，我通常会将JSON数据源写入到一个文件中，并且可以使用DataFrame阅读器的损坏列功能将损坏的数据写出到不同的位置，并使用另一个阅读器从同一作业中写入有效数据。(数据写为拼接) 但在Spark Structred Streaming中，我首先通过kafka将流作为字符串读取，然后使用from_json获取我的DataFrame。/spark-sql-Expression-JsonToStructs.html va
浏览 34提问于2018-12-27得票数 1
回答已采纳
1回答
火花流+ Kafka集成
、、、、
火花版本:星星之火2.2.1卡夫卡版本: Kafka_2.11-0.8.2.2火花流卡夫卡jar: spark-streaming-kafka-0-8-assembly_2.11-2.2.1.jar
这是
浏览 1提问于2018-08-08得票数 0
云服务器
ICP备案
云直播
对象存储
腾讯会议
腾讯云开发者
