我使用我的PC作为Spark服务器，同时作为Spark Worker，使用Spark 2.3.1。curl -X POST http://192.168.1.107:6066/v1/submissions/create在测试了这个和那个之后，我必须转移到Windows，因为
浏览 10提问于2018-09-07得票数 0
回答已采纳
当我提交CreateSubmissionRequest JSON时，我正在使用Spark隐藏rest api以的形式提交spark应用程序，但不包含以下内容 "SPARK_ENV_LOADED" : "1"作业失败，并显示以下错误
WARN Worker: Driver driver-20170206152610-0010 f
浏览 9提问于2017-02-06得票数 1
回答已采纳
允许通过REST，提交作业。也有同样的，但使用的是Java而不是curl。1)通过SparkSession从我的主要应用程序提交的作业： new SparkConf()2)通过REST从我的主要应用程序提交的作业： .builder().appResource("file:
浏览 1提问于2017-05-17得票数 0
回答已采纳
有没有办法通过Powershell在HDInsight上提交Spark作业？我知道这可以通过Azure Data Factory中的活动来完成，但是有没有办法将python脚本从Powershell cmdlet提交到pyspark HDInsight？
浏览 3提问于2017-06-22得票数 0
当我通过/bin/spark-submit提交我的.py脚本时，在Spark UI (主机:8080)中，我可以看到它被作为应用程序处理(app-NNNNNNNNNNNN IP-NNNN)。它显示在UI的"Running Applications“部分，我可以看到工作分布在工作节点上，正确分配的RAM和核心的总量。现在我正在尝试使用远程提交，并使用REST API &q
浏览 3提问于2019-07-24得票数 0
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情况下，我需要构建什么才能触发spark作业？有什么教程吗？我应该在这种情况下使用spark-streaming吗？谢谢!
浏览 0提问于2015-06-16得票数 0
我正面临一个非常奇怪的问题，同时在星火独立集群中启用高可用性(HA)。我已经配置了3个火花管理器，并通过以下步骤在动物园管理员中注册：
spark.deploy.zookeeper.url如果任何一个火花主机(例如: localhost:17077)关闭/不工作，则不工作，并且我使用以下命令提交一个应用程序：
./bin/ W
浏览 1提问于2017-12-06得票数 1
回答已采纳
2回答
Databricks是否支持提交类似于Google Cloud Dataproc的SparkSQL作业？ Databricks job API似乎没有用于提交Spark SQL作业的选项。参考：https://docs.databricks.com/dev-tools/api/latest/jobs.html https://cloud.google.com/dataproc/docs/refer
浏览 41提问于2020-07-01得票数 0
问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写代码，即创建上下文，设置主URL，然后执行我需要做的事情？这能在web应用中工作吗？如果是，那么我什么时候需要提供REST API的作业服务器来提交
浏览 3提问于2016-09-13得票数 2
我是Spark的新用户。我有一个web服务，它允许用户通过从数据库读取并将结果推回到数据库来请求服务器执行复杂的数据分析。我已经将这些分析转移到了各种Spark应用程序中。目前我使用spark-submit来部署这些应用程序。
然而，我很好奇，当我的web服务器(用Java编写)收到用户请求时，什么被认为是启动相应Spark应用程序的“最佳实践”？spark的文档似乎使用了"spark-submit“，但我不希望通过管道将命
浏览 6提问于2015-03-26得票数 5
要检查Apache spark中正在运行的应用程序，可以从URL上的web界面进行检查：我的问题是，我们如何从终端检查正在运行的应用程序，有什么命令可以返回应用程序的状态吗
浏览 0提问于2016-05-25得票数 32
Mobius是apache spark的c#绑定。我想知道是否也可以通过C#使用MLlib和graphx。同样，可以通过C#为apache spark创建机器学习和图形处理作业。
浏览 0提问于2017-06-01得票数 1
我有一个关于spark应用程序用法的问题。因此，我希望我们的Spark应用程序作为REST API Server运行，就像Spring Boot应用程序一样，因此它不会是批处理过程，相反，我们将加载应用程序，然后我们希望保持应用程序的活动状态(不调用spark.close())，并通过我们将定义的一些应用程序接口将应用程序用作实时查询引擎。
浏览 1提问于2020-09-01得票数 1
我正在使用spark 1.5.1，我希望通过REST检索所有作业状态。
我正在使用/api/v1/applications/{appId}得到正确的结果。但是，在访问作业时，/api/v1/applications/{appId}/jobs But “没有这样的应用程序：{appID}”响应。我应该如何在这里传递应用程序ID，以便使用火花REST检索应用程
浏览 18提问于2015-11-03得票数 7
2回答
我们使用python和pyspark在星火集群上运行简单的代码。from pyspark import SparkContext, SparkConfrdd.map(lambda x: x**2).collect()
当我们在本地和似乎火花公子不能连接到em
浏览 3提问于2019-12-11得票数 3
我正试着通过livy提交一份spark工作。在作业中，我需要在args参数中发布一个json数据，同时调用livy.This就是我所做的 String payload = "{\"name\": \"myname\", \"id\": \"101
浏览 31提问于2019-03-05得票数 1
我使用Livy REST API提交Spark应用程序。我希望my_conf (json secrets)存储在AWS SSM参数存储中，并在我使用Livy的python脚本提交spark应用程序时从参数存储中使用它。如何向/从参数存储中存储和获取(在python中获取相同的json) my_conf？
浏览 0提问于2020-02-21得票数 1
到目前为止，我一直在使用命令在本地机器上运行/测试Apache的应用程序：Caused by: java.lang.NullPointerExceptionStringIndiv
浏览 5提问于2016-03-03得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
