我想获取数据行，这是插入到外部mysql数据库后每2分钟。我想做这件事与火花流。:543) at org.test.spark.datab
浏览 16提问于2016-08-03得票数 1
3回答
spark-submit --class com.biz.test \ org.apache.spark:spark-streaming-kafka/test-spark_2.10-1.0.8.jar \作业无法从以下错误开始：
Exception in thread "main" jav
浏览 9提问于2015-11-25得票数 27
回答已采纳
我已经想出了如何用以下方法慢慢扩展集群 "spark.dynamicAllocation.schedulerBacklogTimeout根据官方的
由于我运行的是流应用程序，这个条件几乎不可能为真( executorIdleTim
浏览 8提问于2022-03-24得票数 2
0回答
/artifact/org.apache.spark/spark-streaming
libraryDependencies += "org.apache.spark"
浏览 11提问于2018-07-16得票数 0
回答已采纳
1回答
", "127.0.0.1").setAppName("Streaming Liniar Regression") .set("spark.driver.allowMultipleContexts", "true")
.set("spark<
浏览 2提问于2016-07-12得票数 0
我正在用Scala2.12(用SBT构建)构建一个Spark (3.0.0)流应用程序。我如何从Twitter中获得tweet，因为所有的库都是针对Scala <= 2.11的。编辑:我在尝试用libs构建时获得的示例输出：[error]import org.apache.spark.streaming.twitter.TwitterUtils
浏览 2提问于2020-08-26得票数 2
1回答
libraryDependencies += "org.apache.spark" %% "spark-streaming_2.11" % "2.0.0"
当我运行sbt包时，我得到了所有这三个jars
浏览 3提问于2016-09-15得票数 6
回答已采纳
1回答
MQTT结构化流
、、、
我正在尝试将Spark Streaming设置为读取MQTT源，但当我收到第二条消息时，它会启动一个异常。(Lorg/apache/spark/sql/execution/streaming/Offset;)V
at org.apache.spark.sql.execution.streaming.StreamExecutionat org.apache.spark.sql.execution.
浏览 10提问于2017-01-17得票数 1
回答已采纳
当我声明MQTTUTils.createPairedStream()时，我得到了一个错误，如
值createPairedStream不是对象org.apache.spark.streaming.mqtt.MQTTUtils
浏览 1提问于2019-03-08得票数 0
回答已采纳
2回答
-0.1.jarimport org.apache.spark.streaming.._import org.apache.spark.streaming.kafka010" %% "spark-cassandra-connector" % connectorVersion
浏览 1提问于2018-03-12得票数 2
1回答
/localorg.apache.spark/spark-streaming/3.1.2/ivys/ivy.xml
[error] not found: https://repo1.maven.org/maven2/org/apache/spark/spark-streaming/3.1.2/spark-streamin
浏览 1提问于2021-09-16得票数 3
回答已采纳
2回答
您好，我正在尝试下载以下build.sbt文件中的spark-core、spark-streaming、twitter4j和spark-streaming-twitter：
libraryDependencies += "org.apache.spark" %% "spa
浏览 5提问于2016-06-22得票数 40
回答已采纳
这个奇怪的异常终止了我的spark任务，有什么想法吗？at org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner:84)
at org.apache.spark.util.ClosureCleaner$.clean(Closu
浏览 0提问于2015-06-23得票数 3
1回答
当我尝试使用Spark2.2.0时，它起作用了。<scope>test</scope> <dependency> <versi
浏览 2提问于2018-03-20得票数 0
回答已采纳
2回答
SBT无法导入Kafka编解码类
、、、、
它似乎是在错误的路径下搜索(org.apache.spark.streaming.kafka而不是org.apache.kafka)。错误消息：importkafka.serializer.DefaultDecoder. [info] +-org.apache.spark:spark-
浏览 4提问于2016-04-04得票数 7
回答已采纳
是否可以限制Kafka消费者返回Spark Streaming的批量大小？
我之所以问这个问题，是因为我得到的第一批记录有上亿条记录，需要很长时间才能处理和设置检查点。
浏览 0提问于2016-10-11得票数 18
回答已采纳
在JdbcRDD和DataFrames的情况下，我可以连接Mysql数据库。但是，如何在Spark-streaming中连接MySQL数据库呢？
谢谢。
浏览 0提问于2016-06-07得票数 0
spark-streaming-flume_2.10-1.6.0.jar然后我做一个：在我的spark-submit的末尾，但我得到了另一个问题：
org.apache.spark#spark-streaming-flume-sink/org
浏览 3提问于2016-08-11得票数 0
2回答
/.m2/repository/org/apache/spark/spark-streaming-kafka-0-10/2.2.0/spark-streaming-kafka-0-10-2.2.0.pomspark-streaming-kafka-0-10.jar:
C:\Users\james\.ivy2\local\org.apache.spark
浏览 22提问于2018-08-27得票数 6
回答已采纳
我想直接在代码中覆盖spark.sql.shuffle.partitions参数： val sparkSession = SparkSession .appName("SPARK")
sparkSession.conf.set("spark.sql.shuffle.partitions", 2) 但此设置不会生效，因为在日志中我收到以下警告消息虽然在spark-submit外壳中传递的相同参数可以正常工作： #!&#x
浏览 39提问于2021-04-30得票数 2
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号