trigger(Trigger.ProcessingTime(pollingTimerSeconds.seconds)) .start() 我得到了下面的错误ERROR Uncaught throwable from user code: java.lang.IllegalStateException: Cannot start query with id
浏览 47提问于2019-07-03得票数 3
1回答
spark-worker-686bd57b5d-wrqrd 1/1 Running 0 65mkubectl exec spark-master-fcfd55d7d-qrpsw -it spark-shell`
由于我已经有足够的env，所以我正试图像上面这样运行我的火花工作/atekade/IdeaPro
浏览 0提问于2019-09-24得票数 0
回答已采纳
我试图在intellij中运行一个项目，每次我运行一个特定的类时，我都会收到以下错误消息：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/sun.launcher.La
浏览 0提问于2017-03-27得票数 9
我正在运行spark Scala示例FlumePollingEventCount来从flume中拉出事件。我在一台机器上运行spark作业。WARN FlumeBatchFetcher:未收到来自Flume代理的事件，因为在打开事务时调用Flume代理: begin()时出错！$class.logWarning(Logging.scala:59) Spark无法成功处理事件。(
浏览 1提问于2016-01-07得票数 1
我试图利用直接的kafka使用者(python中提供的新功能)，从我在localhost上运行的一个定制Kafka生产者中捕获数据:9092。我目前正在使用spark 1.6示例脚本提供的"direct_kafka_wordcount.py“。/target/spark-streaming-kafka-assembly_2.10-1.6.0.jar
direct_k
浏览 2提问于2016-02-27得票数 5
回答已采纳
在我们的项目中，我使用结构化流+ Kafka进行实时数据分析。我用的是火花2.2，卡夫卡0.10.2。
在应用程序启动时，在从检查点恢复流查询时，我面临一个问题。由于有来自单个kafka流点的多个流查询，而且每个流查询都有不同的校验点目录。因此，在作业失败的情况下，当我们重新启动作业时，会有一些流查询无法从检查点位置恢复，从而抛出读取增量文件的错误异常。failure: Lost task 2.3 in stage 13.0 (TID
浏览 7提问于2017-10-12得票数 5
1回答
在我的spark streaming(Kafka Consumer)代码中有一些错误。我实现了异常处理，但从未被捕获。我尝试了检查和未检查的异常。请推荐我。
浏览 0提问于2017-08-21得票数 0
1回答
火花流卡夫卡背压
、、、、
我们有一个Spark流应用程序，它从接收端的Kafka队列中读取数据，并对HDFS进行一些转换和输出。间歇间隔为1 1min，我们已经对背压和spark.streaming.receiver.maxRate参数进行了调整，所以大部分时间工作得很好。
但我们还有一个问题。当HDFS完全关闭时，批处理作业将挂起很长时间(假设HDFS不工作4小时，作业挂起4小时)，但接收方不知道作业未完成，因此仍在接收下4个小时的数据。这会导致OOM异常，并且整个应用程序被关闭，我们丢失了大量的</e
浏览 2提问于2016-04-15得票数 6
2回答
当我试图将星星之火应用程序分解成类并使用Try时，我遇到了一个无法串行化的任务。我试过用这门课而不是用这门课..。但在这两种情况下，我得到了一个与闭包相关的serz错误。我猜是有东西被牵扯进来了。这个错误一直困扰着我..。四处走动真是太痛苦了。如果有人能对我如何避免这个问题有所了解，那就太棒了。这些Java类似乎存在比有时更多的问题。java.l
浏览 1提问于2018-07-30得票数 1
回答已采纳
我试图从kafka主题中获取数据，但我无法做到这一点。我已经尝试了链接共享的教程，但最后我得到了错误。我还添加了所有必需的jar文件(位置：- usr/local/spark/jars)。/@kass09/spark-streaming-kafka-in-python-a-test-on-local-machine-edd47814746 ? 尝试这个spark stream
浏览 17提问于2019-06-12得票数 1
当我将spark-streaming_2.12更改为spark-streaming_2.11时，出现以下错误这些是我的依赖项： &
浏览 0提问于2019-07-24得票数 0
在带有检查点的Spark结构化流应用程序中，我得到了“偏移量从X更改为0，一些数据可能被漏掉”的错误，但它似乎并没有真正造成任何问题。我想弄清楚这个错误到底意味着什么。
我的设置如下。我在另一个码头容器中有一个Spark结构化流(2.1.1)应用程序。溪流消耗卡夫卡的数据。它们还在重新挂载到指定卷中的位置使用检查点，以确保在重新启动之间保留元数据。所有这些都很好，数据被正确地<em
浏览 2提问于2017-05-09得票数 3
请把灯熄灭，告诉我从哪里开始。我有我的端到端流工作的未压缩的消息。
谢谢
浏览 0提问于2017-12-20得票数 2
在kafka中使用spark streaming，并使用以下代码创建一个直接流- "bootstrap.servers"CanCommitOffsets].commitAsync(offsetRanges)}{ }
下面的错误导致作业崩溃: No current assignment for partition
浏览 4提问于2018-03-23得票数 3
我正在使用spark streaming，cassandra和MLlib开发一个流分类器。class StreamingClassificator() extends Serializable ...();}
这是
浏览 2提问于2015-10-22得票数 3
在spark-shell中.option("kafka.bootstrap.servers", <server将格式改为CSV，而不是地板
对源代码的一些深入研究让我来到了这里让这个
浏览 0提问于2018-04-09得票数 13
我有一个星火结构的流： .readStream .option("kafka.bootstrap.serverswriteStream .format("parquet")但是在data文件夹中创建了零个文件只有_<em
浏览 5提问于2017-05-25得票数 4
回答已采纳
1回答
我是spark流媒体的新手。我能够捕获我的kafka事件，并能够存储在hdfs本身中。当我尝试使用spark-submit命令作为我的流jar运行时，我得到了下面的错误。spark-submit --class Test --master yarn --executor-memory 20G --num
浏览 1提问于2016-02-17得票数 1
我正在尝试从Kafka读取JSON消息，并使用spark structured将它们存储在HDFS中。我遵循了示例，当我的代码如下所示时： .read \ .option("kafka.bootstrap.servers", "df.writeStream.format("json").option("checkpointLocati
浏览 43提问于2018-07-25得票数 1
云服务器
ICP备案
云直播
对象存储
即时通信 IM
腾讯云开发者
