回答情况：
提问时间：
问题标签：
由于这次迁移，所有spark_streaming_*指标都消失了，比如spark_streaming_driver_totalreceivedrecords (正如这里定义的)
一般来说，普罗米修斯设置似乎是有效的
浏览 1修改于2021-10-05得票数 1
有人说spark streaming，即使它可以以微批的形式处理流，它仍然不是一个像storm那样的流计算系统。那么，这种微批量计算思想的限制因素是什么？是什么让它不如一个真正的计算系统？谢谢!
浏览 1提问于2014-09-18得票数 5
我正在使用spark streaming，我开发了以下spark streaming应用程序：
它们分别从Kafka接收器(RDD1)和HTTP请求(RDD2)创建一个DStream。我的问题是，我只想使用RDD1中的第一个元素，并在我的RDD2中使用它，而这段代码在spark streaming (.first())中不起作用，我如何才能在spark streaming 1.6中获得相同的结果
浏览 9修改于2017-06-29得票数 0
我正在尝试阅读另一个团队建立的Kafka主题。该主题在多个分区之间保持平衡。我的意思是，每一个新行都被发送到一个单独的主题。一条消息是多行，因此消息在两个分区之间拆分。分区1："message2: details2 details2“"details1 details1“当我使用createDirectStream(ssc, kafkaparams, fromoffsets, messagehandler)阅读该主题时，我会按照上面所示的
浏览 1提问于2016-04-12得票数 0
如何让Django的dumpdata管理命令将内容流式传输到文件中，而不是将所有内容加载到内存中？它运行了大约5分钟，然后它消耗了我所有的内存并使我的机器崩溃。
浏览 2提问于2011-10-30得票数 4
回答已采纳
给定一个SparkFlumeEvents流(或任何DStream)，如何映射到适当的模式，以便可以使用一次天真的尝试抱怨缺少列。或者..。那么什么才是正确的方式呢？
浏览 0提问于2016-03-23得票数 0
这是我的hadoop命令：jar $streaming \-D mapreduce.map.output.key.field.separator
浏览 4提问于2014-12-02得票数 1
我正在分析日志，我有这样的架构：我的主要目标是在流媒体中创建机器学习模型。我认为我可以做两件事：2) Kafka -> spark Streaming-> elasticsearch -> sparkstreaming(ML)
-I认为第二种架构是最好的，因为spark streaming将直接使用索引数据。-If我们
浏览 1修改于2018-09-27得票数 4
registered, so nothing to execute at org.apache.spark.streaming.DStreamGraph.validate(DStreamGraph.scala:163) at org.apache.spark.strea
浏览 16修改于2016-08-03得票数 1
Spark streaming java自定义接收器在EMR客户端模式和集群模式下的yarn中出现问题。
以下是问题所在。当我们在EMR集群(yarn)上运行spark streaming的JavaCustomReceiver时，它会随机绑定一个executor上的listener。
浏览 11提问于2017-01-23得票数 5
我正在使用spark streaming进行编程，但使用scala遇到了一些问题。我的spark streaming代码： System.getenv
浏览 3修改于2013-05-21得票数 10
回答已采纳
想要将cassandra添加到spark streaming "org.apache.spark" %% "spark-streaming"% sparkVersion, "com.datastax.cassandra")
session.
浏览 2提问于2015-11-07得票数 2
Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar 4) hadoop jar contrib/streaming</
浏览 3修改于2015-09-13得票数 8
org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1361)at java.util.HashMap.put(HashMap.java:611)
at org.apache.spark.streaming.kafka010.CachedKafkaConsumer$.get(CachedKafkaCons
浏览 1修改于2018-12-01得票数 2
回答已采纳
wowz://streaming-beta.anssoon
但另一件事是，它给了我这个URL和wowz，我觉得很奇怪，因为我们正在使用RTSP协议。
浏览 1修改于2017-05-23得票数 0
回答已采纳
我正在关注这个铁路广播，它解释了如何实现一个聊天应用程序。我已经一步一步地跟踪了所有的事情，直到我开始使用发布/订阅版本的redis来使它更快之前，它似乎都是有效的，但是我的应用程序现在没有更新聊天。每次有新的消息进来，我都要刷新页面！class MessagesController < ApplicationController @messages = Message.all response.headers[
浏览 4提问于2013-01-26得票数 0
回答已采纳
我使用tweepy流应用程序接口来获取包含特定标签的推文。我面临的问题是，我无法从流API中提取推文的全文。只有140个字符可用，在此之后它会被截断。 代码如下： auth = tweepy.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)api = tweepy.API(auth)
return T
浏览 69修改于2021-02-01得票数 6
回答已采纳
腾讯云开发者
