在我做了第一个join之后，使用流式CSV文件，我能够没有错误地写入流，并且可以看到它有很多行被输出，但是一旦我尝试写入我的第二个流，我就会得到一个错误消息。: None.get at scala.None$.get(Option.scala:345)
at org.apache.spark.sql.execution.streaming.StateStoreSaveExec: No
浏览 269提问于2018-07-17得票数 3
我正在尝试使用spark sql来查询来自kafka的数据，使用zeppelin进行实时趋势分析，但没有成功。("http://repo1.maven.org/maven2/") z.load("org.apache.spark:s
浏览 0提问于2016-12-03得票数 1
SparkContext(sparkConf)
val sqlContext = new org.apache.spark.sql.SQLContext程序将因以下错误而终止： java.util.NoSuchElementException:
浏览 0提问于2018-06-22得票数 5
回答已采纳
</groupId> <version>2.3.0</version><artifactId>spark-streaming_2.11</artifactId>
<version>2.3.0</versi
浏览 0提问于2018-04-03得票数 1
我在运行无法连接到Kinesis数据源的胶水流式作业时遇到以下错误：WARNING:root:StreamingQueryException caught._2.11-2.4.0.jar,aws-java-sdk-sts-1.11.271.jar,
spark-tags_2.11-2.4.3.jar,
浏览 0提问于2020-09-08得票数 0
我试图在intellij中运行一个项目，每次我运行一个特定的类时，我都会收到以下错误消息：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/sun.launcher.LauncherHel
浏览 0提问于2017-03-27得票数 9
我正在运行的程序星火流使用卡夫卡和获得错误。所有的导入都完成了，看起来没有任何问题的解决。>org.apache.spark</groupId> <version>2.3.1</-- https://mvnrepository.com/artifact/org.apache.
浏览 0提问于2018-12-30得票数 1
回答已采纳
当将Kafka消息转换为dataframe时，在将包作为参数传递时会出现错误。from pyspark.sql import SparkSession, Rowfrom kafka importKafkaConsumer
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark</
浏览 1提问于2020-06-12得票数 2
回答已采纳
当我将下面的依赖项添加到代码中时，会触发以下错误，下面是密码，
from pyspark.sql import SparkSess
浏览 2提问于2020-06-12得票数 0
回答已采纳
当将Kafka消息转换为dataframe时，在将包作为参数传递时会出现错误。KafkaConsumer
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars spark-sql-kafka-0-10_2.11-2.0.2.jar,spark-streaming-kafka-0-8-assembly_2.11-2.3.1.jar pyspark-sh
浏览 5提问于2020-06-12得票数 1
我正在使用Spark2.1.0，而且org.apache.spark.spark-sql_2.11org.apache.spark.spark-streaming_
浏览 5提问于2017-04-06得票数 0
，runId = 5e2adff4-855e-46c6-8592-05e3557544c6，终止于错误java.lang.ClassCastException:不能将org.apache.spark.sql.execution.streaming.LongOffset转换到org.apache.bahir.sql.streaming.mqtt.MQTTTextStreamSource.getBatch(MQTTStreamSource.scala:152) at org.apache.<
浏览 1提问于2018-12-05得票数 1
回答已采纳
我用它做了一个可执行文件-jar，但是当我试图通过windows控制台启动它时，会出现一个错误，就是缺少某个类。我找不到问题，因为我已经在我的.pom文件中添加了它。{ALS, ALSModel}import org.apache.spark.sql.</groupId>
<artifactId>spark
浏览 2提问于2016-11-06得票数 2
当我将spark-streaming_2.12更改为spark-streaming_2.11时，出现以下错误这些是我的依赖项：
<depe
浏览 0提问于2019-07-24得票数 0
1回答
我试图用以下代码读取一个json文件，但返回时会出现多个错误：请提前帮助处理错误:1059)ema.scala:68))
at org.apache.spa
浏览 6提问于2017-01-22得票数 2
1回答
我从一个Kafka主题中读到了一些消息，对于每个rdd，都执行函数proccess_rdds。def spark_streaming_online():
调用o186保存时发生错误。/bin/spark
浏览 6提问于2020-06-02得票数 1
我正在尝试为spark scala代码编写单元测试，我发现了这篇文章：然而，当我添加这些依赖项时，我在编译时得到这个错误： <groupId>org.apache.spark</groupId>
浏览 3提问于2019-12-13得票数 0
我正在尝试使用greenplum spark连接器jar: greenplum-spark_2.11-1.3.0.jar将数据从GP移动到Hive。spark.streaming.stopGracefullyOnShutdown", "true").set("spark.yarn.driver.memoryOverhead", "8192").set: None.get。=/home
浏览 67提问于2019-02-05得票数 0
当我运行下面的代码时，我会得到这个错误import org.apache.spark.streaming.twitter._唯一与日志记录有关的部分是当我调用sc.setLogLevel("ERROR")时。但我已经试过移除这个错误了。
我使用sbt作为依赖项。spark-streaming" % "3.
浏览 3提问于2021-04-28得票数 0
回答已采纳
当我运行该命令时：
bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-10-assembly_2.12:3.0.1,org.apache.spark:spark-sql-kafka-0-10_2.11:2.0.2 --jars /home/xpto/spark/jars/
浏览 4提问于2020-11-23得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号