我使用spark streaming 'org.apache.spark:spark-streaming_2.10:1.6.1‘和'org.apache.spark:spark-streaming-kafkaException in thread "main" org.apache.spark.SparkException: java.nio.channels.Clos
浏览 11提问于2016-09-01得票数 4
回答已采纳
我正在尝试与Kafka一起运行Spark流媒体作业。开始时，日志文件中的数据很好地写入，但过了一段时间后，我在Scala IDE上看到了以下错误消息。环境:我在所有内核上本地运行Spark。Zookeeper，Kafka也在我的系统上本地运行。16&#x
浏览 8提问于2016-09-05得票数 3
/target/spark-streaming-kafka-assembly_2.10-1.6.0.jar at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErr
浏览 2提问于2016-02-27得票数 5
回答已采纳
我正在尝试设置星火流从Kafka队列中获取消息。.org.apache.spark.SparkException: Couldn't find leader offsets for Set([test-topic,0])
at org.apache.spark.streaming.kafka.
浏览 10提问于2015-12-15得票数 14
1回答
/spark-1.6.1/python/lib/pyspark.zip/pyspark/streaming/kafka.py", line 152, in createDirectStream at org.apache.spark.streaming.k
浏览 1提问于2017-01-28得票数 3
回答已采纳
中的异常: java.nio.channels.ClosedChannelException org.apache.spark.SparkException:无法找到Set的主偏移量(测试主题，( 0)org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366) atorg.apache.spark.streaming.kafk
浏览 3提问于2016-09-05得票数 0
2回答
import org.apache.spark.streaming.kafka010._import com.datastax.
浏览 1提问于2018-03-12得票数 2
2回答
SBT无法导入Kafka编解码类
、、、、
它似乎是在错误的路径下搜索(org.apache.spark.streaming.kafka而不是org.apache.kafka)。错误消息：importkafka.serializer.DefaultDecoder. [info] +-org.a
浏览 4提问于2016-04-04得票数 7
回答已采纳
2回答
/.m2/repository/org/apache/spark/spark-streaming-kafka-0-10/2.2.0/spark-streaming-kafka-0-10-2.2.0.pomspark-streaming-kafka-0-10.jar:
C:\Users\james\.ivy2\loca
浏览 22提问于2018-08-27得票数 6
回答已采纳
1回答
我试图使用星火流2.0.0和Kafka 0.10。我习惯于我的集成测试，但我在启动服务器时遇到了一些问题。当我尝试使用Spark2.2.0时，它起作用了。<scope>test</scope> <dependency>
<groupId>org.apache.spark</groupId><artifactId>spark-streaming<
浏览 2提问于2018-03-20得票数 0
回答已采纳
我正在尝试添加一些导入，但是当我添加import org.apache.spark.streaming.kafka.kafkautils时，它显示了以下错误
对象卡夫卡不是对象org.apache.spark.streaming.kafka.kafkautils使用scala ide 4.7版本2.11.11、spark 2.3.0-bin-hadoop2.7 jar文件、kafka 2.11罐、火花流-10_2.11-2.3.0 jar处理eclip
浏览 0提问于2018-03-29得票数 3
回答已采纳
我有一个独立的spark集群，正在从kafka队列中读取数据。kafka队列有5个分区，spark只处理其中一个分区的数据。> <version>2.0.2</version></dependency>
<dep
浏览 2提问于2017-02-27得票数 3
回答已采纳
当我添加 <groupId>org.apache.spark</groupId><dependencies> <groupId>org.apache.spark
浏览 45提问于2017-02-21得票数 0
回答已采纳
import _root_.kafka.serializer.DefaultDecoderimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka.Ka
浏览 0提问于2018-05-22得票数 2
回答已采纳
我的kafka集群版本是0.10.0.0，我想使用pyspark流来读取kafka数据。但是在Spark Streaming + Kafka集成指南中，没有python代码示例。那么pyspark可以使用spark-streaming kafka -0-10来集成kafka吗？
提前感谢您的帮助！
浏览 11提问于2017-08-05得票数 0
1回答
我正试图在Scala中建立一个kafka消费者，使用Intellij来读取卡夫卡主题的信息，我在窗口上都有星火和卡夫卡。我试过这个代码：import org.apache.spark.streaming._import org.apache.kafka.common.serialization.StringD
浏览 3提问于2020-04-08得票数 0
回答已采纳
当我试图执行我的kafka spark项目时。-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.10 --> <groupId>org.apache.spark</groupId>
<arti
浏览 60提问于2017-02-22得票数 1
回答已采纳
我向Kafka发送消息，我希望在其他应用程序中通过spark streaming接收这些消息，但Spark接收的消息速率约为40,000。我想增加Spark每个间隔接收的消息数，我该怎么做呢？
浏览 0提问于2017-03-11得票数 1
:52) at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun
浏览 3提问于2015-08-25得票数 1
2回答
我在我的kafka主题中有一个流数据。我需要使用pyspark以pyspark dataframe的形式从topic中读取这些数据。但是当我调用readStream函数时，我不断地收到错误。我的代码如下：
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_2.11subscribe", "near_line") \*
浏览 15提问于2018-01-12得票数 2
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号