我已经创建了自己的spark listener类来扩展SparkListener。我已经覆盖了onJobStart和onJobEnd方法。但是找不到一种方法来获得工作进展。我想要查看作业完成的百分比。我知道我可以通过Spark Rest API，但不幸的是我不能使用它。是否有其他方法可以获取作业进度百分比？
浏览 9提问于2017-06-21得票数 2
回答已采纳
我有一个类似下面的类，当我通过命令行运行这个类时，我希望看到进度状态。像这样的东西，30% completed... args[0], System.getenv("S
浏览 1提问于2014-06-28得票数 14
有没有办法通过Powershell在HDInsight上提交Spark作业？我知道这可以通过Azure Data Factory中的活动来完成，但是有没有办法将python脚本从Powershell cmdlet提交到pyspark HDInsight？
浏览 3提问于2017-06-22得票数 0
我想在Databricks中使用Jobs API将JVM参数传递给REST请求。有可能做到吗？任何提示都会有所帮助。
将类似-Dconfig-file=app.conf的内容添加到spark作业。
浏览 7提问于2020-02-28得票数 1
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情况下，我需要构建什么才能触发spark作业？有什么教程吗？我应该在这种情况下使用spark
浏览 0提问于2015-06-16得票数 0
我有一个关于spark应用程序用法的问题。因此，我希望我们的Spark应用程序作为REST API Server运行，就像Spring Boot应用程序一样，因此它不会是批处理过程，相反，我们将加载应用程序，然后我们希望保持应用程序的活动状态(不调用spark.close())，并通过我们将定义的一些应用程序接口将应用程序用作实时查询引擎。我的目标是将其部署到Databricks。任何建议都是好的。
浏览 1提问于2020-09-01得票数 1
我们使用Spark运行一个ETL进程，通过这个过程从一个庞大的(500+GB) MySQL数据库加载数据，并转换成聚合的JSON文件，然后写入Amazon。我的问题有两方面：
这项工作可能需要很长时间才能运行，很高兴知道映射是如何进行的。我知道星火有一个内置的日志管理器。它是否就像在每个地图中放置一个日志语句一样简单？假设这个庞大的作业在中间失败(可能它会阻塞DB记录，或者MYSQL连接会下降)。在星火中有什么简单的方法可以从这里
浏览 0提问于2018-08-01得票数 1
回答已采纳
我已经设置了Spark在纱线上运行，我的目标是以编程的方式通过应用程序id获得星火作业进度的更新。
我的第一个想法是解析纱线GUI的HTML输出。然而，这种GUI的问题是，与火花作业相关的进度条没有定期更新，甚至大部分时间都不会更改:当作业开始时，百分比大约是10%，并且它坚持这个值直到作业完成。因此，这样的纱
浏览 0提问于2018-08-23得票数 0
回答已采纳
很多人都问过这个问题，但除了链接和参考之外，没有明确的答案，而且大多数都不是最近的。问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写
浏览 3提问于2016-09-13得票数 2
我正在使用spark 1.5.1，我希望通过REST检索所有作业状态。
我正在使用/api/v1/applications/{appId}得到正确的结果。但是，在访问作业时，/api/v1/applications/{appId}/jobs But “没有这样的应用程序：{appID}”响应。我应该如何在这里传递应用程序ID，以
浏览 18提问于2015-11-03得票数 7
我想调用一个web服务来获取Spark Structured Streaming中的一些数据。有可能吗？多么?
浏览 0提问于2019-12-07得票数 5
3回答
我有一个案例，我想每隔一小时从远程存储下载一些数据，并将其作为键-值对存储在executor/worker上的RDD中。我想缓存这个RDD，这样将来在这个executor/worker上运行的所有作业/任务/批处理都可以使用缓存的RDD进行查找。这在Spark Streaming中是可能的吗？一些相关的代码或指向相关代码的指针会很有帮助。
浏览 1提问于2016-09-20得票数 2
要检查Apache spark中正在运行的应用程序，可以从URL上的web界面进行检查：我的问题是，我们如何从终端检查正在运行的应用程序，有什么命令可以返回应用程序的状态吗
浏览 0提问于2016-05-25得票数 32
我们正在试图找到一种加载Spark (2.x) ML训练模型的方法，这样我们就可以根据请求(通过REST接口)查询它并获得预测，例如
有一些现成的库可以将模型加载到Spark中(假设它是在使用MLWritable训练后存储在某个地方)，然后将其用于预测，但由于SparkContext的初始化，将其包装在作业中并在每次请求/调用时运行它似乎有些过分。经过一些挖掘，我们发现可以潜在地帮助我们解决这个问题，它允许我们为作业
浏览 1提问于2017-02-14得票数 5
我知道hadoop REST API通过程序提供对作业状态的访问。
同样，有没有办法在程序中获得spark作业状态？
浏览 0提问于2014-11-27得票数 2
所有其他问题似乎都解决了Spark applicationId的获取问题。我想以编程方式取消需要jobId的spark作业。
spark.sparkContext.cancelJob(jobId)
浏览 55提问于2021-11-12得票数 0
Dask是一个纯粹的基于python的分布式计算平台，类似于Apache Spark。有没有办法通过REST API运行和监控Dask分布式作业/任务，比如Apache Livy for Apache Spark？
浏览 41提问于2021-09-26得票数 1
我正在使用一个集群，它不是由我自己管理的。Tensorflow库未安装在任何群集节点上。但是我想使用tensorflow包来运行一些Spark程序。我不确定是否可以简单地使用spark-submit --packages来跨集群节点广播tensorflow包。
浏览 1提问于2016-11-06得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
