我需要在spark中对一些事情计时，比如spark读取我的文件需要多长时间，所以我喜欢使用<code>D0</code>来将额外的信息打印到屏幕上，我发现有一件事非常有用，那就是当像这样的消息打印<code>D1</code>时，因为它会告诉我一些事情花了多长时间。有没有办法以编程的方式(最好是在scala中)实现这一点？现在，我只是复制这个结果，并将其保存在一个文本文件中。
浏览 23提问于2018-12-18得票数 0
1回答
我正在尝试查找以下代码的执行时间 long startTime=System.nanoTime();
Dataset<Row> readDataFrame= spark.read()System.out.println((endTime-startTime)/1000000);
浏览 6提问于2020-05-05得票数 0
//Some action我认为finalTime和finalTime2是在驱动程序中执行的，它们为我提供了实时执行这些操作的时间，对吗？或者这些操作是在哪里真正执行的？
浏览 1提问于2018-05-14得票数 0
我有一个带有3个节点的Cloudera集群，其中安装了Apache Spark。我正在运行一个Spark程序，该程序从HBase表中读取数据，转换数据并将其存储在不同的HBase表中。对于3个节点，500万行HBase数据所用的时间大约为1分10秒。在减少或增加节点数量时，所用的时间相似，而增加节点数量后预计会减少，而增加nodes.Below的数量会增加所用的<
浏览 2提问于2016-08-26得票数 0
我使用的是spark-cassandra-connector_2.11-2.0.1版本。
需要找出读/写cassandra所用的时间。
浏览 2提问于2018-04-12得票数 0
1回答
我们如何才能获得用于spark作业的总内存。我不能得到确切的参数，我们可以参考检索相同的。我已经引用了Spark UI，但不确定我们可以引用的字段。另外，在Ganglia中，我们有以下选项:a)内存缓冲区b)缓存内存c)空闲内存d)共享内存e)空闲交换空间
无法获取与所用内存相关的任何选项。有没有人知道这件事。
浏览 2提问于2016-09-21得票数 8
是否有Visual调试器工具将显示类似于Chrome的Dev Tools瀑布的结果？
浏览 3提问于2021-05-15得票数 0
回答已采纳
$a = 01:04:06:02:55:28//format("%Y:%M:%D:%H:%I:%S")
我想找出这两个的平均值。在这种情况下，$a是完成任务1所用的时间，$b是完成任务2所用的时间，现在我想知道这个人完成两项任务所用的平均时间。
浏览 2提问于2017-05-09得票数 1
我正在尝试记录完成和提交谷歌表单所需的总时间。我的逻辑很简单，下面的代码将记录时间戳并将其作为多项选择选项。然后，在提交表单时，我们将获得一个时间戳，但同时，我们将获得最初记录的时间戳作为该问题的答案。asMultipleChoiceItem().setChoiceValues([new Date()]);我将触发器设置为OnOpen，但令人惊讶的是，它并不是每次打开表单时都更新时间戳。理论上
浏览 5提问于2017-12-22得票数 0
我正在使用gcloud数据流作业，并希望数据流中的所有步骤都有单独的执行时间，包括嵌套转换。我使用的是流数据流，流水线目前看起来像这样：
有没有人能提出一个解决方案？
浏览 13提问于2018-09-07得票数 0
1回答
我想运行我的火花应用程序和使用尽可能多的虚拟核心和内存，但我不知道什么设置。我的星星之火代码看起来像是：sc = SparkContext('spark://master:7077')sqlContext = SQLContext(sc)
spark = SparkSession.builder.a
浏览 1提问于2018-01-31得票数 0
虽然我们的网站在图形和设计方面还没有完成，但大多数后端操作已经接近完成。然而，在优化mysql数据库之后，在pingdom.com上测试时，我们仍然会收到一个重要的初始接收周期：
黄色部分是解析主机名和类似内容所用的时间(在启动到web服务器的连接之前)，绿色部分是连接到web服务器的时间，蓝色部分是从web服务器检索内容所用
浏览 0提问于2013-03-28得票数 0
9回答
了解一个特定$.ajax()请求花费多长时间的好方法是什么？答案？？：
我刚开始使用javascript，如果您不想内联"success“函数(因为它将是一个更大的函数)，这是我能想到的最好的方法了，这是一个很好的方法吗？
浏览 27提问于2010-08-17得票数 63
回答已采纳
1回答
如何在任务或作业完成后在控制台( Shell或submit作业)上收集这些指标。
我们使用Spark将数据从Mysql加载到Cassandra，这是相当大的(例如:200 GB和600 m行)。当任务完成时，我们要验证到底有多少行触发了进程？我们可以从Spark中获得号码，但是我们如何从火花外壳或火花提交作业中检索这个数字(“输出记录编写的”)。dbtable", "payment_types").option("user&quo
浏览 0提问于2016-04-27得票数 11
回答已采纳
1回答
我用两列连接两个数据集，结果是包含550亿行的数据集。之后，我必须按不同于join中所用列的列对此DS进行聚合。问题是，Spark在连接之后进行交换分区(占用550亿行的时间太多)，尽管数据已经正确分布，因为聚合列是唯一的。我知道聚合密钥是正确分发的，有没有办法告诉Spark app？
浏览 1提问于2017-10-26得票数 0
1回答
在我spring集成应用程序中，我有几个stored proc-outbound-gateway，我想记录每个调用花费的时间，任何帮助都将不胜感激。理想情况下，我希望能够启用/禁用日志记录所用的参数、所用的时间和检索到的总行数(返回结果集)，以监视和调整性能。
谢谢
浏览 1提问于2015-02-12得票数 0
9回答
我在python脚本中有以下代码： #Code here
我想要执行这个脚本，并找出它花了多少时间在几分钟内执行。如何找出执行此脚本所需的时间？举个例子，我会很感激的。
浏览 3提问于2011-07-22得票数 159
我想在我的索引视图(类似于Google的)中包含查询统计数据(即返回的记录和运行时间)。我找到了返回的记录，但很难找到经过的时间。
我使用的是Rails3测试版和will_paginate插件。
浏览 0提问于2010-07-13得票数 3
回答已采纳
2回答
在Linux中，如果我有两个使用C程序的进程，它们可以相互通信(通过shm、套接字、管道等)，我如何测量这两个进程在C中通信所用的时间？也就是说，给定进程A和B，A发送消息，B读取消息，MB是某种用于通信的消息箱，我希望测量A将消息放入MB和B从MB检索消息所用的时间。
浏览 6提问于2013-06-17得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
