1回答
流和静态数据集的合并是结构化流的一个很好的特点。但是每一批数据集都会从数据源中刷新。由于这些源并不总是动态的，因此在指定的时间段(或批数)缓存静态数据集将是一种性能增益。在指定的批处理期间/批数之后，数据集将从源重新加载，否则将从缓存中检索。
在星火流中，我使用缓存的数据集来管理它，并在指定数量的批处理运行后取消它的持久化，但是由于某种原因，这不再适用于结构化流。
浏览 1提问于2017-12-13得票数 9
1回答
我们的目标是建立冷和热层的Lambda架构。冷(批)层将用Apache (PySpark)实现。但是对于热(流)层有不同的选择:火花流或Flink。因此，Apache是纯流的，而不是Spark的微批，我倾向于选择Apache。但我唯一关心的是PyFlink的性能。PySpark流的延迟会更少吗？它比Scala编写的Flink代码慢吗？
浏览 3提问于2021-11-05得票数 1
回答已采纳
当创建Lambda时，每个碎片的并发批数被设置为10。当流数据出现尖峰时，并发数将增加到10。这意味着我们将有10个lambdas并行工作。在这种情况下，我的问题是，我们如何保证能够顺其自然地处理事件流？在我看来，这样做是不可能的，因为我们无法控制并发货币。有人能想到这个主意吗？我的头转不开了。
浏览 6提问于2022-06-28得票数 0
回答已采纳
我的火花流版本是2.0，kafka版本是0.10.0.1，火花流-kafka-0-10_2.11。我使用直接的方式获得卡夫卡的记录，我现在想限制我在一批中获得的信息的最大数量。星星之火中的消费者数量是卡夫卡中的分区数?那么火花流中记录的最大数量是max.poll.records*consumers？
浏览 1提问于2018-09-27得票数 2
根据NVIDIA的文档，批CuFFT将并行执行这些批次：我还没有找到关于NVIDIA文档批次内部执行的更详细信息。
浏览 2提问于2019-11-13得票数 0
回答已采纳
同一批处理系统将消耗卡夫卡主题。
服务层将创建视图，这些视图将流和批处理的聚合数据结合在一起进行真实(接近真实的)时间处理。的问题是，逻辑将复制在HiveQL (批处理)和火花(流)中。有什么办法可以避免这种情况或尽量减少这种情况吗？
浏览 2提问于2018-09-18得票数 1
1回答
我可以看到，在LanguageUnderstanding示例中，它可以正常工作(例如，上一批小批中的样本数确实接近所使用的minibatch_size )：..我已经手动确认，看起来培训师正在返回小批中的序列数，而不是上述案例中的样本。
这是意料之中的事吗？如果是的话，这里的逻辑是什么？
浏览 1提问于2017-01-09得票数 2
回答已采纳
1回答
即使在看完教程之后，我对架构也不是很清楚。我们如何在分布式环境中扩展streamset？比方说，我们的输入数据速度从源开始增加，那么如何确保SDC不会给性能带来问题呢？将运行多少个守护进程？它是Master worker架构还是点对点架构？
如果有多个守护进程在多个机器上运行(例如，一个sdc和一个NodeManager在YARN中)，那么它将如何显示数据的集中视图，即总记录数等？另外，请让我知道数据流性能管理器的架构。此产品中有哪些所有的守护进程？
浏览 4提问于2017-12-08得票数 3
1回答
我有一个需求，在其中我有一个源文件，其中包含映射数据流中的表名。基于文件中的表名-需要一个动态查询，其中列元数据以及其他一些属性从数据字典表中检索并插入到不同的接收器表中。由于输入文件中可以列出多个表(假设它是一个csv，其中只有一个列包含表名)，如果我们决定为该文件使用缓存接收器：
是否可以在同一个映射数据流中使用源转换查询中缓存的接收器的结果作为查找(从何处检索列元数据虽然可以通过一条管道来实现这一点，该管道将每个表名作为参数传递给数据流，但在这种情况下，如果文件中有100个表，则需要进行100次迭代，并且需要将集群拆分100次。
浏览 0提问于2021-03-05得票数 0
为了与连接，我使用了春云流。假设使用apache的非反应性spring引导应用程序的荚数是多少？
编辑1:重新架构我的问题，你如何考虑春季启动性能，请求率，用户数量等，同时缩放豆荚？
浏览 6提问于2022-02-07得票数 0
当使用映射数据流从JSON数据文件中读取十进制数时，十进制数字被截断。[Source data]
"value": 1123456789.12345678912345678912在dataset中，源数据集配置为无架构。映射数据流投影定义了具有足够精度和比例的十进制数据类型。无论是否设置架构，都会发生这种情况。如果设置了模式，数据类型是number，而不是十进制，因为它是JSON。调用浏览器支持的不同数量的十进制数，所以我想知道这是否取决于正在使用
浏览 0提问于2020-11-22得票数 0
回答已采纳
在使用Trigger.Once结构化流和处理卡夫卡输入时 - and KAFKA is being
浏览 4提问于2022-02-25得票数 1
我必须编写火花流(createDirectStream应用程序接口)代码。我将每秒接收大约90K条消息，因此使用100个分区用于kafka主题以提高性能。 你能告诉我我应该使用多少个遗嘱执行器吗？另外，假设批量间隔为10秒，kafka topic的分区数为100，我会从每个kafka分区收到100个RDD，即1个RDD吗？在第10秒批处理间隔内，每个分区是否只有1个RDD。 谢谢
浏览 8提问于2019-02-07得票数 0
2回答
我试着和go流一起工作，我有几个“愚蠢”的问题。1-为什么这段代码在新行中显示1和2？为什么它不显示12在一个？第一批字节是否从字节限制流中删除？(但是，当我们已经将1数推入流中时，如何才能将2数推入流中呢？)
浏览 1提问于2017-10-09得票数 0
回答已采纳
1回答
我正在尝试训练VGG16模型代码，但是损失并没有得到优化，而且模型的参数似乎没有被更新。以下是模型：import torch.nn as nnimport torch.nn.functional as Fcfg = {'VGG13&#
浏览 4提问于2022-07-12得票数 -1
我正在使用星火结构化流处理来自卡夫卡的数据。我将每条消息转换为JSON。但是，spark需要一个显式的模式才能从JSON获得列。使用DStreams的火花流允许执行以下操作其中jsons是RDD[String]。在星火结构流的情况下类似的方法(jsons是DataSet[String])Exception in thread
浏览 1提问于2018-02-05得票数 2
3回答
批处理： SparkStreaming API简单地将数据划分为批处理，这些批处理还包含相同的流对象/元素集合。根据需求，一组批处理定义在基于表单时间的批处理窗口和基于集中在线活动的批处理窗口中。Rdd和批之间到底有什么区别？
浏览 5提问于2015-10-30得票数 4
2回答
用于消息代理监视的Ant脚本
、、、、
上下文最初的想法是使用脚本生成报告，然后在浏览器上显示。问题
这能否完全使用Ant脚本(我不确定，因为还没有详细探讨过迭代处理)，或者将Ant和批/shell脚本组合在一起是最好的选择？
浏览 2提问于2015-12-09得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号