长时间运行的spark提交作业
长时间运行的Spark提交作业是指在Spark框架下，将任务提交到集群进行处理的过程中，任务需要长时间运行的情况。
Spark是一种快速、通用的集群计算系统，可以用于大规模数据处理和分析。它提供了高效的数据抽象和并行计算模型，支持在内存中进行数据处理，从而大大加快了作业的处理速度。
长时间运行的Spark提交作业通常用于处理大规模数据集或者复杂的计算任务。由于任务的复杂性和数据量的庞大，作业的执行时间会比较长。这种情况下，需要考虑以下几个方面：
- 集群规模：为了加快作业的执行速度，可以增加集群的规模，提供更多的计算资源。腾讯云提供了弹性计算服务，可以根据实际需求灵活调整集群规模。
- 任务调度：Spark提供了强大的任务调度功能，可以将作业划分为多个任务并行执行。可以根据任务的依赖关系和数据分布情况进行合理的调度，提高作业的执行效率。
- 内存管理：Spark支持将数据存储在内存中进行计算，可以大大加快作业的执行速度。在长时间运行的作业中，需要合理管理内存资源，避免出现内存溢出等问题。
- 容错机制：长时间运行的作业可能会遇到各种故障，如节点故障、网络中断等。Spark提供了容错机制，可以自动恢复故障，保证作业的正常执行。
- 监控和调优：在长时间运行的作业中，需要及时监控作业的执行情况，发现并解决潜在的性能问题。腾讯云提供了云监控服务，可以实时监控集群的运行状态，并提供性能调优建议。
对于长时间运行的Spark提交作业，腾讯云提供了一系列相关产品和服务：
- 腾讯云弹性MapReduce（EMR）：提供了完全托管的Spark集群，支持大规模数据处理和分析。详情请参考：腾讯云弹性MapReduce（EMR）
- 腾讯云云服务器（CVM）：提供了高性能的计算资源，可以用于搭建Spark集群。详情请参考：腾讯云云服务器（CVM）
- 腾讯云云监控（Cloud Monitor）：提供了实时监控和性能调优建议，帮助用户优化长时间运行的Spark作业。详情请参考：腾讯云云监控（Cloud Monitor）
总之，长时间运行的Spark提交作业是在Spark框架下，处理大规模数据集或复杂计算任务时所需的一种解决方案。腾讯云提供了一系列相关产品和服务，帮助用户高效地完成这类作业。
相关·内容
当通过Livy提交一个长期运行的Spark批处理作业时，作业默认为五次重试，这需要花费很长时间才能最终失败。我如何才能改变这一点，使工作立即失败？
我的环境是Spark1.6，运行在Azure HDInsight (HDP)上。
谢谢!
浏览 2提问于2016-10-31得票数 0
回答已采纳
我在yarn的客户端模式下使用spark-submit提交一个pyspark作业。 spark-submit \
--name $APP_NAME \
--master yarn \
--deploy-mode client \
--num-executors 16 \
--executor-cores 1 \
--driver-memory 6g \
--executor-memory 2g \
--py-
浏览 333提问于2020-10-02得票数 0
2回答
在测试多个作业同时运行或稍后提交的较小作业时火花作业的行为时。我在spark中遇到了两个设置。一种是可用的调度模式，如下图所示：
其中一个在调度程序中，如下所示
我想了解两个设置和抢占之间的区别。我的要求是，在处理更大的工作时，在两者之间提交的小工作必须获得资源，而不需要等待更长时间。
浏览 2提问于2016-08-10得票数 1
回答已采纳
我在EMR上构建了很少的Spark结构化流查询，它们是长时间运行的查询，并且需要一直运行，因为它们都是ETL类型的查询，当我向EMR上的纱线集群提交作业时，我可以提交一个单一的spark应用程序。因此spark应用程序应该有多个流查询。
对于如何以编程方式在同一个submit中构建/启动多个流查询，我感到困惑。
我有这样的代码：
case class SparkJobs(prop: Properties) extends Serializable {
def run() = {
Type1SparkJobBuilder(prop).build().awaitTerminatio
浏览 0提问于2018-10-11得票数 17
回答已采纳
2回答
我有一个Dataproc集群：
master -6核心
工作人员{0-7}-6核心
最大分配:内存:24576，vCores:6
有两个火花流作业要提交，一个接一个
首先，我尝试使用默认配置提交spark.dynamicAllocation.enabled=true。
在30%的情况下，我发现第一个作业几乎捕获了所有可用内存，第二个任务排队等待了很长时间的资源。(这是一个流作业，每批占用一小部分资源)。
我的第二次尝试是改变动态分配。我提交了相同的两个配置相同的作业：
spark.dynamicAllocation.enabled=false
spark.executor.memory=12g
浏览 2提问于2019-03-04得票数 1
回答已采纳
1回答
我正在提交多个Spark作业。一个作业使用一个工人。目前，我一次提交了30个作业，5个作业正在运行，25个作业正在等待。但是，此操作会给服务器带来沉重的负载。(有时无法分配作业端口并发生错误。) 是否有可能在一次运行5个部件的情况下减少负载？ 当前我的运行代码：： ~/spark-submit ~test1.py & ~/spark-submit ~test2.py & ~/spark-submit ~testN.py & ... ~/spark-submit ~test30.py
浏览 28提问于2020-11-30得票数 0
回答已采纳
我已经在我的笔记本电脑上的纱线集群上设置了一个Spark，并且使用python多处理在Spark中运行多个并发作业时遇到了问题。我运行的模式是纱-客户模式。我尝试了两种方法来实现这个目标：
设置一个SparkContext并创建多个进程来提交作业。此方法不起作用，程序崩溃。我想单个SparkContext不支持python多个进程。
对于每个进程，设置一个SparkContext并提交作业。在这种情况下，作业成功地提交给纱线，但作业是串行运行的，每次只运行一个作业，而其他作业处于队列中。是否可以同时启动多个作业？
更新设置
纱线：
资源.vcores vcore 8
资源.内存
浏览 2提问于2015-11-09得票数 2
我们有一个包含8个节点的spark集群。每小时向群集提交一个spark作业。如果spark作业已经在集群上运行，我如何配置集群或编写一些不允许在集群上提交spark作业的代码？
浏览 2提问于2017-06-13得票数 0
问题是，您需要启动单独的JVM来创建每个作业具有不同数量RAM的单独会话。
如何在不手动生成单独JVM的情况下同时提交少量的星火应用程序？
我的应用程序运行在单个服务器上，在单个JVM中。这在每个JVM范型的Spark会话中都出现了问题。火花范式是这样说的：
1 JVM => 1 app => 1 session => 1 context => 1 RAM/executors/cores config
我希望每个星火应用程序都有不同的配置，而不需要手动启动额外的JVM。组合：
spark.executor.cores
spark.executor.memory
浏览 7提问于2017-05-16得票数 7
回答已采纳
1回答
在databricks是否有Jar作业超时限制或Jar作业可以不受限制地运行？我们的应用程序启动了长时间运行的spark作业，创建了spark会话和"fire“子作业，但在8月份的发布说明中，我发现notebooks会限制作业执行2天。有可能在这样的限制下运行流作业吗？
浏览 0提问于2021-09-04得票数 0
我试图提交一个火花作业使用'gcloud数据提交作业提交火花‘，我已经设置为纱线的spark.master。当作业在dataproc集群上执行时，是否可以使用我在gcloud中通过身份验证的google用户或在命令中设置代理用户来运行它？
示例命令：-
gcloud dataproc jobs submit spark \
--cluster gov-demo --region europe-west4 \
--class org.apache.spark.examples.WordCount \
--jars gs://governance-demo/spa
浏览 0提问于2019-10-14得票数 1
我运行了一个spark任务，在纱线上分配了大量的资源，而且这个任务持续了很长时间。 最后，spark作业的任务只是活动的一个核心和两个核心。 我想知道不活跃的资源是不是可以被其他spark工作或mr工作使用。 或者只完成第一个spark作业，资源就可以被其他作业使用。
浏览 12提问于2021-08-09得票数 0
回答已采纳
1回答
我们使用的是DataStax Spark6.0。我们使用crontab提交作业，每5分钟运行一次。我们编写了脚本来检查它是否正在运行，以避免重复提交相同的应用程序。有没有办法在Spark级别停止作业提交或将作业保留在队列中，以避免相同应用程序的重复作业。 谢谢Rakesh 我尝试只使用Crontab
浏览 13提问于2019-06-26得票数 0
我正在尝试通过Kubernetes提交作业。已通过，并通过以下命令成功提交作业：
$ bin/spark-submit \
--master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.ima
浏览 0提问于2020-01-27得票数 0
1回答
我用Java编写了几个火花作业，然后用提交脚本提交了jars。
bin/spark-submit --class "com.company.spark.jobName.SparkMain" --master local[*] /tmp/spark-job-1.0.jar
将有一个服务，并将运行在同一服务器。当收到停止命令时，服务应该停止作业。
我有以下关于在职工作的信息：
SparkHome
AppName
AppResource
尤里大师
应用程序id
状态
有没有办法停止在java代码中运行spark作业。
浏览 2提问于2017-06-08得票数 2
我正在尝试使用InProcessLauncher从Java Spring应用程序提交集群模式的spark 2应用程序。我之前使用的是SparkLauncher类，这个类很有效，但是它为每个作业启动了一个长时间的SparkSubmit java进程，这消耗了太多的资源和大量的作业。 我的代码设置了sparkLauncher.setMaster("yarn")和sparkLauncher.setDeployMode("cluster") 在启动我的HADOOP_CONF_DIR应用程序之前，我将yarn环境变量设置为包含我的配置的目录(yarn-site.xml等
浏览 29提问于2021-05-08得票数 0
1回答
我正在尝试使用PySpark运行一个作业。与所有示例相比，唯一不同的是，我希望提交来自.egg的工作，而不是.py文件。
为了在常规商品集群中提交PySpark作业，如下所示：
spark2-submit --master yarn \
--driver-memory 20g \
--deploy-mode client \
--conf parquet.compression=SNAPPY \
--jars spark-avro_2.11-3.2.0.jar \
--py-files dummyproject-1_spark-py2.7.egg \
浏览 0提问于2018-11-09得票数 2
回答已采纳
1回答
我有一个web应用程序，将提交火花作业在Cloudera星火集群使用火花启动库。
它正在成功地将星火作业提交到群集。但是，它没有调用侦听器类方法，而且返回的上的也从未从“未知”中更改，即使在集群上的作业完成执行之后也是如此。
我正在使用yarn-cluster模式。这是我的密码。还需要做些什么吗？
SparkLauncher launcher = new SparkLauncher()
.setSparkHome("sparkhome")
.setMaster("
浏览 8提问于2016-08-24得票数 3
回答已采纳
1回答
从中杀死雪花查询
、、
是否有一种使用Spark连接器来杀死雪花查询的方法？或者，是否有一种方法来获取星火中最后一个查询id或会话id，以在Spark之外杀死它。
用例是用户控制的长时间运行的星火作业和长期运行的雪花查询。当用户正在关闭Spark作业时，当前的雪花查询将继续运行(多个小时)
谢谢
浏览 2提问于2021-10-15得票数 3
我们正在spark集群上工作，即使在spark "Master“进程被杀死后，spark作业(S)也能成功提交。
这是关于我们正在做的事情的完整细节。
程序详情:-
jps 19560 NameNode 18369 QuorumPeerMain 22414 Jps 20168 ResourceManager 22235主机
我们使用下面的命令向这个Master提交了一个spark作业
spark-1.6.1-bin-without-hadoop/bin/spark-submit --class com.test.test --master yarn-client --部署模式客户端te
浏览 27提问于2017-01-30得票数 1
我正在提交在本地运行的Kubernetes中的Spark作业(Docker桌面)。我能够提交作业，并在屏幕上看到它们的最终输出。
然而，即使它们已经完成，驱动程序和执行器吊舱仍然处于运行状态。
用于将星火作业提交给kubernetes的基本图像是与火花一起出现的图像，如中所描述的。
这就是我的spark-submit命令的样子：
~/spark-2.4.3-bin-hadoop2.7/bin/spark-submit \
--master k8s://https://kubernetes.docker.internal:6443 \
--deploy-mode cluster
浏览 3提问于2019-09-16得票数 4
回答已采纳
我在AWS上运行了一个Mesos集群，通过dcos package install spark命令安装了Spark。我能够使用DCOS：dcos spark run ...成功地执行星火作业
现在，我想从运行在Mesos集群中的Docker容器中执行spark作业，但我不太确定如何到达Spark的运行实例。这样做的想法是让一个码头容器执行spark-submit命令，向Spark提交一个作业，而不是从集群外部使用DCOS CLI执行相同的作业。
当前的文档似乎只关注通过DCOS CLI运行Spark --是否有任何方法可以从集群中运行的另一个应用程序获得火花部署？
浏览 5提问于2016-08-16得票数 1
1回答
我试图使用纱线REST提交火花提交作业，我通常通过命令行运行这些作业。
我的命令行星火提交如下所示
JAVA_HOME=/usr/local/java7/ HADOOP_CONF_DIR=/etc/hadoop/conf /usr/local/spark-1.5/bin/spark-submit \
--driver-class-path "/etc/hadoop/conf" \
--class MySparkJob \
--master yarn-cluster \
--conf "spark.executor.extraClassPath=/usr/local/ha
浏览 5提问于2016-01-12得票数 5
我试图在Dataproc集群上提交一个PySpark作业。我的工作是将数据上传到bigquery。当我使用集群上的submit作业执行时，我会遇到一个错误，作业失败。但是，当我提供这个罐子时：
"gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"，在提交作业中的jar文件参数中，作业成功执行。
我想要的是找到一种避免在运行时提供这个jar的方法，只需给出.py文件的位置就可以运行作业。我该怎么做呢？是否可以在.py文件本身中指定此jar？
我使用下面的方法在.py文件本身中提供jar，但它似乎不起作用。
from py
浏览 7提问于2022-04-06得票数 1
1回答
我使用OOZIE运行工作流。但是一个简单的官方例子shell-wf (echo hello oozie)停留在运行状态，并且永不结束。工作流可以提交，但处于运行状态。OOZIE UI中的作业日志没有任何错误。
当提交包含spark-submit的shell时，作业将永远不会提交，在Spark中也看不到。我怀疑弹壳根本没有运行。
可能的问题是什么？
浏览 0提问于2019-05-15得票数 0
回答已采纳
谁能解释在Apache的生产中如何处理倾斜的数据？
场景：
我们使用"spark-submit"提交了spark作业，并且在spark中观察到很少有任务花费很长的时间，这表明存在偏差。
问题：
(1)我们应采取哪些步骤(重新划分、合并等)？
(2)我们是否需要终止作业，然后在jar中包含倾斜的解决方案并重新提交作业？
(3)能否通过直接从shell运行(合并)之类的命令来解决这个问题，而不杀死作业？
浏览 0提问于2018-06-25得票数 3
我有一个由4个DSE 4.6节点组成的集群，其中Cassandra/Spark处于独立模式，提交一个作业来spark或从其中一个集群节点打开spark shell就可以了。我现在想要做的是能够从不属于集群的机器上打开spark shell，所以我在一台新机器上安装了DSE，但是当我尝试运行
$ SPARK_MASTER=spark://MASTER_NODE dse spark
我得到了一堆连接错误，看起来像是spark shell试图连接到localhost。
Spark中是否存在固有的限制，限制运行shell或仅从集群成员节点提交作业？
浏览 0提问于2015-01-11得票数 0
我有一个火花独立集群，没有安装其他作业调度程序。我想知道spark-submit是否可以用作火花作业和非火花作业的作业调度程序(例如，不是为spark编写的scala，也不是不使用RDD的)？
根据我的测试，spark-submit被用来提交非火花作业并成功地运行作业.但以下是我的问题：
下面的选项仍然有意义吗？--driver-cores --driver-memory --executor-memory --total-executor-cores
如果为1，是否意味着spark-submit可以使用FIFO维护火花作业和非火花作业的队列，但它不管理非火花作业的资源？
如果2为
浏览 3提问于2017-09-14得票数 0
回答已采纳
2回答
我正在使用星火在Azure数据库5.5。我通过Databricks工作区UI通过乔布斯、笔记本和火花提交提交火花作业。作业正在成功提交，Databricks正在生成新的集群或使用现有的集群。但是，默认情况下，在executor节点上运行作业的用户是根。是否有可能更改在Azure Databricks上运行作业的用户(这本质上不允许SSH访问)？
通常，当我在具有Shell访问权限的集群上使用星火提交CLI时，我使用sudo：sudo -u exampleuser spark-submit...更改用户。在这个例子中，用户'exampleuser‘出现在集群的所有节点上。因此，我想知道是
浏览 0提问于2019-09-17得票数 2
回答已采纳
2回答
我正在ec2集群上运行spark作业，我有一个定期提交作业的触发器。如果一个作业已经在群集上运行，我不想提交作业。有没有api可以给我这个信息？
浏览 0提问于2017-06-19得票数 1
我们正在使用DSE Analytics。我正在尝试使用crontab通过spark-submit安排一个spark作业。基本上这个作业应该每天晚上运行，当作业即将提交给后续时间时，现有的应用程序应该被杀死，我很难找到一种方法来做到这一点。
因为我找不到提交的作业的应用程序Id或驱动程序Id，所以我可以正常关闭。
我知道Spark Master Web UI可以用来查找提交Id，但如果我要为此设置一个cron，我无法从UI中获取Id。有没有合适的方法来做到这一点。我们运行的是DSE 6.7，Analytics在专用DC中运行。任何帮助都将不胜感激
浏览 7提问于2019-08-19得票数 0
回答已采纳
1回答
为什么火花执行者还没死
、、、
这是我的设置：
运行airflow的Kubernetes集群将spark作业提交给Kubernetes集群，作业运行良好，但是容器应该在完成任务后死亡，但它们仍然挂在那里。
cluster.Dag上出现的气流设置是在气流对接器图像中烘焙的，因为不知何故，我无法将达格与s3同步。由于某些原因，cron无法运行。将spark作业提交给K8S集群，作业运行良好。，但现在它没有在执行和完成作业后死亡，它仍然存在。
这是我的SparkSubmitOperator函数
spark_submit_task = SparkSubmitOperator(
task_id='spark_submi
浏览 1提问于2019-09-17得票数 0
我在databricks中创建了一个spark提交作业来运行.py脚本。我在python脚本中创建了一个spark对象。我尝试访问现有的配置单元表。但是我的脚本失败了，错误是“表或视图找不到”。我应该在我的spark提交作业中添加一些配置设置来连接到现有的配置单元元存储吗？
浏览 7提问于2020-05-19得票数 0
回答已采纳
例如，当我向yarn集群提交第一个作业时，该作业正在运行，然后提交第二个作业，在第一个作业成功或失败之前，第二个作业状态永远不会运行。
有没有办法在集群模式下在纱线上并行运行多个spark作业？
浏览 0提问于2017-10-09得票数 2
我提交给spark cluster的作业还没有完成。我看到它永远挂起，然而日志显示甚至spark jetty连接器也被关闭了：
17/05/23 11:53:39 INFO org.spark_project.jetty.server.ServerConnector: Stopped ServerConnector@4f67e3df{HTTP/1.1}{0.0.0.0:4041}
我在yarn上运行最新的cloud dataproc v1.1 (spark 2.0.2)。我通过gcloud api提交spark作业：
gcloud dataproc jobs submit spark --pr
浏览 0提问于2017-05-24得票数 2
2回答
如何捕获火花提交作业的返回代码，我编写了一个shell脚本来传递参数，并与我的spark类一起运行spark提交，我使用下面的代码来捕获返回代码，但它不是working.Run spark是我的shell脚本中的一个函数，它使用spark类和参数运行spark提交。
RunSpark
ret_code=$?
if [[ ${ret_code} != 0 ]]; then
exit ${ret_code} "Issue while executing spark class ${spark_class}"
fi
exit 0 echo "Script ran
浏览 2提问于2015-10-28得票数 2
回答已采纳
我正在尝试使用AWS控制台向AWS EMR集群提交一个spark作业。但它失败了，因为：
Cannot load main class from JAR。当我在AWS > Add中将主类指定为--class in Arguments选项时，作业将成功运行。
在本地机器上，如果未按以下方式指定主类，则作业似乎非常正常：
./spark-submit /home/astro/spark-programs/SpotEMR/MyJob.jar
我已经使用run配置将主类设置为jar。避免像--class那样传递主类的主要原因是，我必须使用EMRAcivity在AWS中运行此作业。在AWS Da
浏览 2提问于2018-01-23得票数 6
回答已采纳
我正在运行一个spark作业，它已经完成了99%。最后的1%需要很长时间，所以我检查了工作跟踪器。如截图所示，我们可以看到一些执行器仍然有几个活动任务，而一些执行器没有任务。为什么Spark不重新分配任务？
另外，对于花了很长时间的最后1%的作业，主要是由于内存问题，执行器核心的数量，还是...？有没有办法让我找出原因？
谢谢!
浏览 3提问于2015-08-26得票数 0
1回答
DCOS簇尺度
、、、
我有一个包含3个代理节点的DCOS集群；我几乎没有像spark这样运行在DCOS上的服务。
如果我缩放我的DCOS集群，我是否也需要扩展我的spark (因为如果我在DCOS集群中添加了一个第4个节点，并且当我运行一个spark作业时，主人可以为在没有安装spark的第4个节点上运行的spark作业分配资源，这样它就会失败)？
在我的观察中，我发现这些作业被提交到Mesos主人看到的任何节点。
是否有一种方法可以指定火花作业不能在某些节点上运行？
浏览 4提问于2017-02-13得票数 0
回答已采纳
我正试图理解向纱线集群提交MR作业(这是基于Spark的Java)的正确方法。
考虑以下情况：
使用客户端机器开发代码(MR或Spark)作业，并表示代码使用第三方jar。现在，当开发人员不得不将作业提交到纱线集群时，提交到集群的作业的正确方式是什么，这样就没有找到类的运行时例外。既然作业是作为jar文件提交的，那么开发人员如何“放”第三方jar呢？
我很难理解这一点，有人能帮我理解这个吗？
浏览 4提问于2017-04-09得票数 0
回答已采纳
如何在星火中配置spark.io.compression.codec=lzf？
通常，我使用星星之交来运行我们的驱动类，如下所示
./ "spark.io.compression.codec=lzf“-提交--主火花://testserver:7077-class com.spark.test.SparkTest -conf com.spark.test.SparkTest /tmp/test/target/test.jar。
这样我就可以在命令中设置spark.io.compression.codec=lzf。但如果我不想用火花提交来运行我们的驾驶员类。我想在火花作业服务器上
浏览 6提问于2015-01-15得票数 4
2回答
我正在测试我的第一条处理来自Kafka的消息的Spark Streaming管道。但是，在几次测试运行之后，我得到了以下错误消息There is insufficient memory for the Java Runtime Environment to continue.
我的测试数据真的很小，所以这种情况不应该发生。在查看了process之后，我意识到可能之前提交的spark作业并没有完全删除？
我通常像下面这样提交作业，并且我使用的是Spark 2.2.1 /usr/local/spark/bin/spark-submit --packages org.apache.spark:
浏览 2提问于2018-05-04得票数 3
我在AWS EC2中有一个hadoop集群设置，但我的开发设置(Spark)是在本地windows系统中。当我尝试连接AWS Hive thrift服务器时，我可以连接，但当我尝试从本地spark配置提交作业时，它显示一些连接被拒绝错误。请注意，在windows中，我的用户名与Hadoop eco系统在AWS服务器中运行的用户名不同。谁能给我解释一下底层系统在这个设置中是如何工作的？
1)当我从本地的Spark向HIVE thrift提交作业时，如果该作业与任何MR作业相关联，ASW Hive setup将使用自己的身份提交该作业NN，或者它将继续使用我的spark setup身份。
2)在我
浏览 1提问于2017-08-28得票数 0
当我向Kubernetes提交Spark作业时，容器中的所有内容都以root用户身份运行。是否可以以其他用户身份运行该作业？
当我在客户端模式下提交作业时，驱动程序以提交作业的用户身份运行，而执行器以根用户身份运行，这可能导致在访问由执行器创建的文件时出现文件访问问题。
浏览 3提问于2020-06-05得票数 1
是否有与Spark 1.6.0匹配的特定Spark Job Server版本？根据中的版本信息，我看到SJS仅适用于1.6.1，不适用于1.6.0。我们的CloudEra托管Spark运行在1.6.0上
我通过将spark home配置到1.6.1来部署SJS。当我提交作业时，我看到正在生成作业I，但看不到作业结果。有什么建议吗？
浏览 9提问于2016-07-09得票数 1
当我使用集群模式提交spark作业时，它会立即返回。并在群集上运行作业。 因此，如果我想在作业A成功完成时提交作业B，这似乎不能在集群部署模式下完成。因为作业A完成时没有任何回调或通知。
浏览 16提问于2018-12-18得票数 0
1回答
如果我有一个mongodb的副本集，那么主服务器正在接收所有的写/读操作，并将它们写入服务器。辅助服务器正在从操作日志中读取操作并复制它们。现在我想用spark- mongodb -connector来分析mongodb副本集中的数据。我可以在所有三个节点上安装spark集群，并在内存中对其运行分析。我知道spark集群有一个主节点，在那里我必须提交spark作业以进行分析，或spark streaming。两者都安装在tomcat中的应用程序服务器上。
现在我需要选择一个主节点，将作业从我的tomcat应用服务器提交到spark集群。主服务器应该是Spark Master节点吗？然后应用程序
浏览 15提问于2017-01-25得票数 1
我们有一个spark streaming作业，它从Gnip API读取并向Kafka集群发送tweet。
Kafka集群是使用Cloudera Manager安装的。
有时，cloudera管理器会显示一些Kafka节点的健康状况不佳的消息。不良运行状况消息与NTP服务相关。某些节点突然与NTP服务器不同步。
一旦发生这种情况，Spark流作业就会卡住，许多作业在长时间没有处理的情况下排队。
为什么Kafka节点和NTP服务器同步会影响spark流作业中的Kafka生产者？
浏览 1提问于2016-09-04得票数 4
我们已经在Azure Kubernetes服务(AKS)上部署了Apache Spark。
能够通过CLI 提交星火申请。
问题：可以从Azure数据工厂版本2提交spark作业/运行spark应用程序吗？这样，我们就可以从数据工厂组织火花应用程序。
浏览 4提问于2021-08-19得票数 1
我使用的是Cloudera 5.8.3发行版，它是用spark 1.6.0构建的。我通过oozie提交了一个Spark作业(它是作为一个java操作提交的)
我可以看到作业成功完成，也可以在Spark历史服务器上找到它(该服务器也在为Spark 1.6.0运行)。我还可以看到所有的执行器/应用程序/作业/阶段/任务级别的详细信息。
然而，我也知道spark为spark数据帧提供了更好的日志记录，我没有看到那个选项卡。这就是我所说的视图：
我不确定与此相关的其他细节，也不确定还可以在哪里查找。希望能得到一些建议。
谢谢!
浏览 0提问于2017-02-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
