应用程序偶尔会抛出ConcurrentModificationException->at org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1361)
at org.apache.spark.streaming.kafka010java.util.Hash
浏览 1提问于2017-12-03得票数 2
回答已采纳
","9042").config("spark.streaming.kafka.maxRatePerPartition", 10000)
.config("spark.streaming.kafka.consumer.cache.maxCapacity", 1)
浏览 10提问于2016-12-20得票数 5
我使用下面的代码来读取Kafka主题，并处理数据。:1197) at org.apache.spark.streaming.kafka010.CachedKafkaConsumer.get(CachedKafkaConsumer.scala:69)at org.apac
浏览 1提问于2017-06-14得票数 11
2回答
import org.apache.spark.streaming.kafka010._import com.datastax.
浏览 1提问于2018-03-12得票数 2
2回答
SBT无法导入Kafka编解码类
、、、、
它似乎是在错误的路径下搜索(org.apache.spark.streaming.kafka而不是org.apache.kafka)。错误消息：importkafka.serializer.DefaultDecoder. [info] +-org.a
浏览 4提问于2016-04-04得票数 7
回答已采纳
2回答
/.m2/repository/org/apache/spark/spark-streaming-kafka-0-10/2.2.0/spark-streaming-kafka-0-10-2.2.0.pomspark-streaming-kafka-0-10.jar:
C:\Users\james\.ivy2\loca
浏览 22提问于2018-08-27得票数 6
回答已采纳
1回答
我试图使用星火流2.0.0和Kafka 0.10。我习惯于我的集成测试，但我在启动服务器时遇到了一些问题。当我尝试使用Spark2.2.0时，它起作用了。<scope>test</scope> <dependency>
<groupId>org.apache.spark</groupId><artifactId>spark-streaming<
浏览 2提问于2018-03-20得票数 0
回答已采纳
我正在尝试添加一些导入，但是当我添加import org.apache.spark.streaming.kafka.kafkautils时，它显示了以下错误
对象卡夫卡不是对象org.apache.spark.streaming.kafka.kafkautils使用scala ide 4.7版本2.11.11、spark 2.3.0-bin-hadoop2.7 jar文件、kafka 2.11罐、火花流-10_2.11-2.3.0 jar处理eclip
浏览 0提问于2018-03-29得票数 3
回答已采纳
我有一个独立的spark集群，正在从kafka队列中读取数据。kafka队列有5个分区，spark只处理其中一个分区的数据。> <version>2.0.2</version></dependency>
<dep
浏览 2提问于2017-02-27得票数 3
回答已采纳
当我添加 <groupId>org.apache.spark</groupId><dependencies> <groupId>org.apache.spark
浏览 45提问于2017-02-21得票数 0
回答已采纳
import _root_.kafka.serializer.DefaultDecoderimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka.Ka
浏览 0提问于2018-05-22得票数 2
回答已采纳
我的kafka集群版本是0.10.0.0，我想使用pyspark流来读取kafka数据。但是在Spark Streaming + Kafka集成指南中，没有python代码示例。那么pyspark可以使用spark-streaming kafka -0-10来集成kafka吗？
提前感谢您的帮助！
浏览 11提问于2017-08-05得票数 0
1回答
我正试图在Scala中建立一个kafka消费者，使用Intellij来读取卡夫卡主题的信息，我在窗口上都有星火和卡夫卡。我试过这个代码：import org.apache.spark.streaming._import org.apache.kafka.common.serialization.StringD
浏览 3提问于2020-04-08得票数 0
回答已采纳
当我试图执行我的kafka spark项目时。-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.10 --> <groupId>org.apache.spark</groupId>
<arti
浏览 60提问于2017-02-22得票数 1
回答已采纳
:1132) at org.apache.spark.streaming.kafka010.CachedKafkaConsumer.get(CachedKafkaConsumer.scala:69)
at org.apache.spark
浏览 0提问于2018-05-06得票数 1
我向Kafka发送消息，我希望在其他应用程序中通过spark streaming接收这些消息，但Spark接收的消息速率约为40,000。我想增加Spark每个间隔接收的消息数，我该怎么做呢？
浏览 0提问于2017-03-11得票数 1
:52) at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun
浏览 3提问于2015-08-25得票数 1
2回答
我在我的kafka主题中有一个流数据。我需要使用pyspark以pyspark dataframe的形式从topic中读取这些数据。但是当我调用readStream函数时，我不断地收到错误。我的代码如下：
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_2.11subscribe", "near_line") \*
浏览 15提问于2018-01-12得票数 2
3回答
kafka-spark.py -import sys
2., Artifact Id = spark-streaming-kafka<
浏览 6提问于2016-01-18得票数 11
2回答
-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka --><groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka_2.10<
浏览 0提问于2018-05-03得票数 4
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号