1回答
因此，询问是否有人知道在运行时更改Spark属性(例如spark.executor.memory、spark.shuffle.spill.compress等)的方法，以便更改可以在作业期间的任务/阶段之间生效……1) Spark 2.0+的文档(以及之前的版本)指出，Spark上下文一旦创建，就不能
浏览 0提问于2016-10-01得票数 10
如何更改在Spark Job Server中创建的上下文的用户？我想要更改我在sparkSession.sparkContext.sparkUser()上获得的用户；
浏览 43提问于2020-03-23得票数 0
我们有一个用例，不同的用户希望以不同的方式实时处理数据，这些用户来来去去。据我所知，我可以为底层数据创建一个流，然后进入foreachRDD来运行我的计算。当新用户需要新的计算时，是否可以通过在单独的线程中进入foreachRDD来添加额外的计算？
提前谢谢。
浏览 1提问于2015-10-02得票数 1
1回答
我在运行pyspark，spark 1.3，standalone mode，client mode。当我提交一份工作时，我当然会打开一个火花环境。在作业运行时，我可以使用ssh隧道打开spark 。然后，我可以查看当前正在运</
浏览 4提问于2016-07-15得票数 5
回答已采纳
我正在运行一个spark应用程序，它将使用文件中的配置参数。文件：- Spark.confpassword=ankushport=22如何在运行时使用此文件。如何让作业在运行时动态选取配置文件，而不是在更改配置文件时重新启动
浏览 0提问于2017-09-01得票数 0
我是Spark的新手，所以任何建议，无论是关于相关工具或针对我的用例建议的设计更改，都将不胜感激。我目前的情况是，我有几百万个独立的Spark作业，运行时间不是很长(平均几秒钟)，我使用Livy以批处理模式提交它们。问题是，初始化每个作业的Spark上下文所需的时间比运行作业本身所需的时间要长
浏览 2提问于2021-09-06得票数 1
3回答
从Oozie运行Spark2
、、、、
我试图运行一个火花作业(使用火花2-提交)从Oozie，所以这个作业可以运行的时间表。17/11/16 12:03:55 ERROR spark.SparkContext: Error initializing SparkContextYarn的身份运行该
浏览 6提问于2017-11-16得票数 0
回答已采纳
1回答
可以有人请让我知道如何连接到Spark应用程序从网络应用程序。我们所拥有的Spark代码都在Scala上，我们希望从web应用程序中访问这些代码。如果我们可以提供一个小的代码片段，这将是有帮助的。
浏览 1提问于2015-06-12得票数 0
问题是，计时器作业在计划中被调用时似乎不起作用。如果我安装它，然后使用我编写的一个小型控制台应用程序，在作业上调用execute，它就能正常工作。当它按计划运行时，它就没有了。我知道这份工作运行的原因：我知道一些事情不对劲的原因：
数据库为空，不包含任何文档。多次手动正确地运行作业。测试写入日志的另一个计时器作业在此<e
浏览 1提问于2009-11-04得票数 1
如何实现自定义提交间隔，该间隔将在运行时根据读取器调用的次数决定。我正在使用spring batch，并使用FlatfileItemReader读取记录。
浏览 2提问于2017-06-21得票数 0
我正试图了解SnappyData的“统一集群模式”部署拓扑中的所有"Spark“部分在哪里。
流在..。-领导还是服务器？
浏览 0提问于2016-08-09得票数 1
回答已采纳
它是一个常规的FTP连接，连接在21端口上。在我做连接然后打印成功的那一刻：对于如何处理或解决这一问题，有什么建议吗？
浏览 2提问于2014-11-14得票数 1
回答已采纳
我正在尝试使用Scala中的IntelliJ IDEA来执行这个简单的Spark工作。但是，Spark UI会在对象完全执行后完全停止。我是否遗漏了什么或在错误的位置收听了什么？Scala版本- 2.10.4和Spark - 1.6.0 object SimpleApp { val logFile
浏览 0提问于2016-02-24得票数 0
只有几个问题可以加深对Talend ESB的理解。一旦作业开始运行，据我所知，每次作业运行时你都会得到一行。
我想，我的第一个问题是，这是正确的吗？每一行在其生命周期内都是一个单独的容器，或者如果两个行同时运行，行之间会相互干扰吗？下一个问题将围绕上下文变量，以及如果在运行时(context.var1 = "blah";)更改了这些变量，它们会影响整个作业还是只
浏览 4提问于2015-05-25得票数 2
在Spark中，有三种主要方法来为用于创建SparkConf的SparkContext指定选项
，在使用spark-shell时，当您在名为sc的变量中获得shell提示符时，已经为您创建了SparkContext。当使用星火壳时，如果在您有机会执行任
浏览 1提问于2015-07-14得票数 23
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情况下，我需要构建什么才能触发spark作业？有什么教程吗？我应该在这种情况下使用spark-streamin
浏览 0提问于2015-06-16得票数 0
我有一个使用Scala语言为Spark编写的应用程序。我的应用程序代码已经准备好了，作业大约运行10-15分钟。
当spark作业在运行时执行时，还需要提供应用程序执行的状态。我知道spark以懒惰的方式运行，在spark执行期间将数据检索回驱动程序是不好的。通常，我会对定期提供状态感兴趣。例如：如果在spark应用程序中配置了
浏览 0提问于2018-06-25得票数 1
2回答
在我的项目中，我将数据从MongoDB传输到基于SQL的查询的SparkSQL表。但是Spark允许我创建临时文件。当我想查询某件事情时，执行时间很长，因为数据传输和映射操作花费了太多的时间。那么，我能缩短执行时间吗？我可以创建永久星火SQL表吗？我可以用JDBC查询永久表吗？import
浏览 3提问于2015-07-31得票数 4
回答已采纳
我在没有hadoop/yarn的服务器(8vCores和64 in )中安装了spark。我正在运行具有以下属性的作业。spark.executor.instances=4 spark.executor.cores=4
spark.driver.memory=16g从顶部的命令中，我看到该程序占用了大约22.3 is的</em
浏览 0提问于2019-07-12得票数 0
3回答
这可能是一个非常简单的问题。但是，有没有什么简单的方法来测量spark作业(使用spark-submit提交)的执行时间呢？
它将帮助我们根据输入数据的大小来分析spark作业。编辑:我使用http://[driver]:4040来监视我的作业，但是这个Web在我的作业完成时立即关闭。
浏览 5提问于2016-04-30得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
