我尝试过不同大小的内存和不同数量的执行器，例如：每个批处理请求重新处理相同的数据集，更新不断变化的值。也就是说，相同的结构，相同的大小，相同的键，但是值会随着每个批次的更新而更新。对于每个请求，从队列读取请求到
浏览 18提问于2017-01-16得票数 1
1回答
我正在设置一个Apache Spark集群来执行实时流计算，并希望通过跟踪各种指标(如批大小、批处理时间等)来监视部署的性能。我的Spark Streaming程序是用Scala编写的
浏览 4提问于2017-04-11得票数 2
回答已采纳
我的Spark Streaming应用程序由于OutOfmemoryException: Java Heap Space而不断失败。 --class ... \ --deploy-mode cluster \ --total-executor-cores 3 \
浏览 2提问于2016-10-18得票数 2
我有一个使用gocql驱动程序连续批量将数据注入Scylla的用例，在繁重的写入测试期间，我观察到scyllas写入响应延迟随着时间的推移而增加，有时这会导致scylla节点重新启动，在cassandra的情况下，延迟随着时间的推移是恒定的。我只想知道这个用例的正确配置，这样我就可以在整个时间内实现恒定延迟。写入者过程的细节，基本上它
浏览 5提问于2020-01-29得票数 2
当做spark-submit需要30秒才能做任何事情时，我相信它绑定到sparkmaster上的一个端口，创建sparkcontext，分配执行器，jvm startup.etc我尝试使用local:/读取jar，这似乎可以节省几秒钟的时间
浏览 0提问于2019-08-22得票数 4
当我试图优化一个火花工作时，我很难理解第二个和6-7s第三和第四执行者的发射延迟3-4秒。
这项工作分为三个阶段。正如所见，第二、第三和第四遗嘱执行人仅在第二阶段增加。
下面是第0阶段的快照。
随着第一阶段的结束。
如上图所示，执行程序2(与第一个工作人员相同)需要大约3s才能启动。执行者3和4(对第二个工人)花费的<
浏览 0提问于2020-01-26得票数 1
2回答
在测试多个作业同时运行或稍后提交的较小作业时火花作业的行为时。我在spark中遇到了两个设置。一种是可用的调度模式，如下图所示：其中一个在调度程序中，如下所示
我想了解两个设置和抢占之间的区别。我的要求是，在处理更大的工作时，在两者之间提交的小工作必须获得资源，而不需要等待更长时间。
浏览 2提问于2016-08-10得票数 1
回答已采纳
我目前正在对我的Spark流媒体应用程序进行性能测试。总而言之，我通过套接字连接接收JSON消息，每秒一条消息。然后，我使用Spark Streaming方法将消息作为RDDs处理，最后将生成的RDDs打印到数据库。这是我的问题:每当我想要检查块处理时间或调度延迟等时，我需要转到端口4040上的Spark UI。
我想做的是在程序运行时使用这些值创建一个Log，并将其作为txt文件
浏览 0提问于2016-05-06得票数 1
如FTDI网站上所述，要从FTDI设备接收字节到PC，由于此64字节USB数据包问题，可能会有延迟16ms (超时)+ 1ms (或更多，USB调度器时间)。如果我理解正确的话，在从FTDI芯片(FTDI_232或FTDI_245)到PC的连续数据流(没有流量控制)方面，(为了避免16ms超时延迟)，最好的办法是要求：
如果USB调度器每1ms可靠调度驱动程序，则每1ms 62字节；如果USB调度器
浏览 3提问于2014-11-14得票数 1
谁能把Flink和Spark作为机器学习的平台进行比较呢？对于迭代算法，哪一种可能更好？链接到一般Flink与火花讨论：
浏览 3提问于2015-04-21得票数 27
回答已采纳
我正在用WebFlux监控我的Spring VisualVM应用程序，我注意到了一件奇怪的事情。
可能这个问题是因为我将ServerWebExchange作为控制</em
浏览 13提问于2022-07-04得票数 1
回答已采纳
我的测试代码是：import rx.Subscriber;
import java.util.concurrent.TimeUnit文档显示，延迟只会发出源发出的可观察到的项，并通过指定的延迟在时间上向前移动。
浏览 3提问于2015-10-02得票数 4
回答已采纳
1回答
应用程序中的火花调度:性能问题
、、、、
在这样的单个驱动程序实例中使用调度的概念，可以监视多个星火应用程序。调度程序在默认情况下配置为FIFO模式：更改spark.scheduler.listenerbus.event
浏览 2提问于2020-03-01得票数 5
回答已采纳
1回答
我有一个S3 json数据集，它是KMS客户端加密DynamoDB的转储(即每条记录都是独立加密的KMS客户端)。我想知道是否有什么办法限制这些星图操作？
浏览 7提问于2017-05-13得票数 1
1回答
我有一个项目，就是将来自合作伙伴服务器的CSV文件集成到Hadoop集群中。我知道，当您需要执行数据转换时，Spark是首选。我的问题是，水槽和火花在集成逻辑上有什么区别？
在导入CSV文件时，它们之间是否存在性能差异？
浏览 0提问于2018-10-02得票数 1
回答已采纳
我试图在Window任务调度程序中使用ASP.NET。我想在特定的时间发送电子邮件。但是ASP.NET不是作为EXE运行的，它有一个动态ip地址。我不知道在ASP.NET中使用Window任务调度程序。您能给我提供一些解决方案吗？
浏览 2提问于2017-05-25得票数 0
回答已采纳
1回答
我正在寻找一个在Linux上的C++程序中的内存泄漏，该程序具有很强的遗留背景(多线程，使用libstdc++容器)。这个程序是一个代理服务器，是从客户端到服务器的请求的中介。瓦兰已经检测到了一些现在已经修复的，并且没有显示更多的。
但是进程的RSS (如/proc//stat所示的驻留内存)仍然在给定的重复刺激(每
浏览 1提问于2021-04-02得票数 0
3回答
我知道Spark可以使用Scala、Python和Java来操作。此外，RDDs还用于存储数据。
但是请解释一下，Spark的架构是什么，它是如何在内部工作的。
浏览 0提问于2015-06-07得票数 38
1回答
两个不同的集群上的spark-submit输出(都运行Spark1.2)看起来不同:一个是“日志样式”，即大量的消息流，如另一种“进度式”，即屏幕底部的一个不断增长</em
浏览 4提问于2015-04-27得票数 5
回答已采纳
例如，我在星火平台上运行了以下工作计数应用程序：val counts = textFile.flatMap(line假设有一个工作人员需要处理1Gb数据，那么在获取所有1Gb数据之前，该工作人员是否有可能开始进行一些计算(如flatMap)？
浏览 3提问于2016-04-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
