0回答
我正在寻找API，允许访问星火流统计，这是可在“流”标签在历史服务器。我主要对批处理时间值感兴趣，但它不能直接通过REST API获得，至少根据文档：有没有办法获取各种信息，比如在“流”标签中或者在历史服务器中运行作业？
浏览 18提问于2017-06-22得票数 2
回答已采纳
1回答
我用的是火花2.4。我正在为每个批处理进行生成度量，并且我希望控制每个微批的统计数据。我对每个processingDelay、schedulingDelay和totalDelay指标以及在结构化流中找到它们的位置很感兴趣。val numberOfRecords = recentBatchInfos.map(_.numRecords).
浏览 0提问于2018-11-16得票数 4
回答已采纳
1回答
卡夫卡流有类似火种的蓄能器吗？
、、、、
Spark有一个用于以线程安全的方式( )积累数据的有用API，并附带了一些开箱即用的有用累加器，例如用于Longs 的。到目前为止，我还没有找到与卡夫卡流相似的东西。有什么东西存在吗？
浏览 0提问于2018-09-22得票数 1
回答已采纳
1回答
我正在设置一个Apache Spark集群来执行实时流计算，并希望通过跟踪各种指标(如批大小、批处理时间等)来监视部署的性能。是否有一种方法可以获取为应用程序运行的所有火花批次的列表以及其他批处理详细信息，如：
提前谢谢你，
浏览 4提问于2017-04-11得票数 2
回答已采纳
1回答
星星之火的概念是否进入了spark或Spark。传统上，数据访问似乎属于Spark。但是，纠正我的错误，数据处理似乎也能够处理实时数据，所以我进入了这个问题。
浏览 2提问于2017-06-29得票数 0
回答已采纳
我正在使用火花API (星火核心API，而不是流，SQL等)。我经常在火花倾倒日志中看到这样的错误:火花环境: 1.3.1纱线-客户端
我确实按了Ctrl+c，但那应该是SIGINT。如果纱线杀死执行者，那就是S
浏览 1提问于2015-10-15得票数 12
1回答
火花流应用程序通过直接流API (版本2.10-1.6.0)从Kafka来流消息。我有5个卡夫卡分区。应用程序中的火花配置"durationInMi
浏览 1提问于2018-01-16得票数 0
回答已采纳
3回答
我需要实现卡夫卡消费者在火花流的火花1.0。我写过卡夫卡制作人。有谁能帮我写一个火花接收器来提取卡夫卡的信息吗？另外，我能知道如何在Intellij IDEA中运行kafka星火流项目吗？
浏览 1提问于2014-09-10得票数 1
回答已采纳
我们有一个火花流应用程序，它消耗了Gnip遵从流。我们可以使用不同的参数运行相同的火花应用程序8次，以消耗不同的端点。是否有一种方式在火花流中消耗这8个端点并将它们合并为同一个应用程序中的一个？
我们应该为每个连接使用不同的流上下文，还是一个上下文就足够了？
浏览 2提问于2016-10-24得票数 2
回答已采纳
1回答
我不知道星火‘结构化API’是什么意思。如果你能更具体地告诉我，我将不胜感激。
对不起，我没有完美的英语。(我得到了翻译的帮助。)
浏览 1提问于2019-06-06得票数 2
回答已采纳
1回答
我试图在循环 of 、Kafka消息上进行统计，这些消息由一个特性组成。当我收到同一周期的新消息时，我想重新计算这个特性的峰度。目前，我能够对每条消息流执行简单的聚合(添加、计数)。KStream[Int, Double] = cycleTable2.toStream.map((k,v) => (k,MessageList(v.toSeq).skewness_ps1))我预先感谢你的关注。
浏览 4提问于2019-10-22得票数 1
回答已采纳
有人能给出一个用例，我们应该直接使用星火流，我们应该去哪里与卡夫卡/水槽集成？
浏览 4提问于2017-06-27得票数 1
回答已采纳
2回答
我得到了以下错误：
sun.reflect.NativeMethodAccessorImpl.invoke0(Native方法的sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang的SampleStream$.main(NetworkWordCount.scala:10) at Sample
浏览 0提问于2016-03-31得票数 0
回答已采纳
我正在使用pyspark读取Kafka的流数据，然后我想将这些数据汇到mongodb。我已经包含了所有必需的包，但是它会引发以下错误
UnsupportedOperationException:数据源com.mongodb.spark.sql.DefaultSource不支持流写入。sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)上，数据源com.mongodb.spark.sql.DefaultSource不支持流写入在py4j.Ga
浏览 4提问于2018-06-04得票数 2
我正在尝试创建一个服务，查找特定databricks工作区的所有火花作业日志。假设我已经在databricks工作空间中部署了两个星火流作业--我希望通过任何API或像kafka/eventhubs这样的消息队列获取这两个作业的日志。这样，我就可以订阅那些流日志，并实时地采取一些基于事件的操作。
在Databricks工作区中是否有任何API可以提供每个火花作业的日志，或者我们可以在事件中心上获得那些星火应用程序的自定义日志？
浏览 5提问于2022-09-19得票数 1
我需要开始一个新的项目，我不知道是否火花或Flink会更好。目前，该项目需要微批处理，但以后可能也需要流事件处理。
假设火花是最好的，是否有缺点使用梁代替选择火花/Flink作为跑步者/引擎？Beam是否会增加任何开销，或者在Spark/Flink中缺少某些API/功能？
浏览 2提问于2019-04-29得票数 1
回答已采纳
我正在编写一个使用火花流的组件的测试。我想做的是：
备注：
我只能访问星星之火，而不是流媒体.所以，如果我能够从星星之火环境中访问这样的api，那就太完美了。
浏览 1提问于2019-09-27得票数 1
回答已采纳
1回答
我已经尝试了火花批处理API和火花结构化流API，但我仍然是非常新的，并想知道如何接近实时维度表可以实现。
我有一个用例用于在几乎实时(~10分钟延迟)中更新一个类型的二维表。我的方法是运行一个连续的批处理火花作业，一旦它完成所有转换步骤，就从一开始就重新启动，而不是以成功的状态退出。它类似于流作业，但在内部运行批处理和阻塞(即不读取或处理新数据，最后读取的数据被合并到最终维度表中)。有可能吗？
浏览 0提问于2018-05-16得票数 1
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号