1回答
风暴式间歇加工
、、
我对风暴的用例是流处理和批处理。用例2:风暴拓扑应该将元组作为一批元组进行处理。
我使用Kafka作为队列机制来提供Storm拓扑。是否Storm不是这样做的正确框架，因为它是用于流处理的(用例1)。风暴三叉戟对用例#2有帮助吗？
浏览 3提问于2015-09-22得票数 0
1回答
对于aws云监视日志是否有任何数据限制来发送日志，因为在我的示例中，我从我的应用程序中每3天获取日志数据600万条记录。那么aws云监视日志能够处理这么多数据吗？
浏览 11提问于2022-11-02得票数 0
Lambda从流读取项，并为每个批处理调用一次lambda函数。Lambda使用事件源映射同步调用lambda函数。我从aws文档中了解到的是，Lambda为流中的每个批处理调用一个lambda函数。假设流中有1000个项目，我将lambda函数配置为批量读取100个项目。那么它会同时调用10个lambda函数来处理10批100个项目吗？
我正在学习AWS。我的理解正确吗？如果是，那么同步调用是什么意思？
浏览 13提问于2019-11-14得票数 0
我设置火花流时间间隔为5s。如果当前的5s接收了非常非常多的数据，而spark streaming不能在5s内完成，但下一批数据即将到来。
spark streaming是否会同时处理下一批数据？我的意思是批处理会并行执行吗？
浏览 10提问于2016-07-02得票数 3
回答已采纳
我在windows server 2k8上安装了TortoiseHg 2.6.1和Mercurial 2.4.1的一体化下载。我创建了一个存储库，在端口8000上提供服务。当我尝试通过eclipse (MercruialEclipse插件)从internet上的远程计算机克隆此repos时，我得到：这是什么意思
浏览 2提问于2012-12-24得票数 1
当新的数据到达时，在Spark的流扩展过程中，它们被持久化在数据库中，对现有的数据集进行重新训练，并执行支持向量机算法。此进程的输出也存储在数据库中。
浏览 0提问于2014-06-24得票数 7
有人说spark streaming，即使它可以以微批的形式处理流，它仍然不是一个像storm那样的流计算系统。那么，这种微批量计算思想的限制因素是什么？是什么让它不如一个真正的计算系统？谢谢!
浏览 1提问于2014-09-18得票数 5
2回答
多批作业同步或异步
、、、、
第一种方法是在Salesforce中执行Upsert，当它完成时，它调用具有另一个批处理作业的第二个流。此图像表示流：但是当我在控制台上看到日志时，有时第二批的日志与第一个的日志混合在一起。我错了吗？如果我希望它完全同步，那么最好的方法是什么呢？
浏览 1提问于2019-05-24得票数 1
回答已采纳
3回答
我创建了一个实时应用程序，在这个应用程序中，我使用flume从weblog中将数据流写入hdfs，然后使用火花流处理该数据。但是，尽管flume正在hdfs中编写和创建新文件，但spark流无法处理这些文件。如果我使用put命令将这些文件放到hdfs目录中，火花流就能够读取和处理这些文件。
浏览 9提问于2015-06-09得票数 2
回答已采纳
1回答
如何避免火花流中批量排队
、、、
我有直接流的火花流，我使用下面的配置
spark.streaming.kafka.maxRatePerPartition 42
是否有可能实现以下场景，我们的批处理间隔为60，如果每批运行在60，下一批可以准时开始。如果一批花费的时间超过60，我们不希望下一批来排队。当
浏览 2提问于2021-03-16得票数 1
回答已采纳
1回答
我需要能够接收来自rabbitmq的消息，进行一些转换(从1条输入消息，我创建了1000条消息)，然后以如下方式处理这1000条消息:我按10批消息推送消息，然后睡眠5秒。
浏览 1提问于2017-12-12得票数 0
回答已采纳
我们有一个进程，在这个进程中，项目被一批一批地放入BizTalk中，我们只是注意到，在我们的生产环境中，一批将被一次处理1个(一个接一个)，而在我们的开发过程中，in等于一批对多个进程(希望你明白我的意思我们可以检查导致这种情况的原因是什么？NewbieDeveloper
浏览 3提问于2013-11-20得票数 0
1回答
我有一个永无止境的流作为一个序列。我的目标是根据时间和大小从序列中提取一批。
我的意思是，如果我的序列现在有2250条消息，我想发送3批( 1000,1000,250)。
浏览 1提问于2018-06-25得票数 1
回答已采纳
2回答
这是什么意思？我知道::表示注释，在Unix中，#!是指向要使用的外壳的方向，但它在这里到底是什么？和::!#是否可以从同一批处理文件中运行多个脚本？
浏览 0提问于2011-07-13得票数 9
回答已采纳
2回答
下面的代码行使我感到困惑：我有一批52张图片，但是一个元组怎么能在逗号之后什么都没有呢？这是什么意思？
浏览 3提问于2020-03-13得票数 3
回答已采纳
1回答
知道从哪里开始下一批作业。
在批处理作业中读取卡夫卡的正确方法是什么？我还考虑编写一个流作业，它从auto.offset.reset=smallest读取，并将检查点保存到HDFS，然后在下一次运行时从该任务开始。但在这种情况下，我如何才能只取一次，并在第一批之后停止流
浏览 0提问于2016-06-25得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
