EMR群集上的Flink作业“超出GC开销限制”
是指在使用EMR群集运行Flink作业时，作业的垃圾回收（Garbage Collection）开销超过了系统的限制，导致作业执行出现性能问题或失败。
垃圾回收是指在Java虚拟机中自动回收不再使用的对象内存空间的过程，以便释放资源并提供给其他对象使用。然而，当作业中创建的对象过多，或者对象的生命周期管理不当时，垃圾回收操作会消耗大量的系统资源和时间，降低作业的执行效率。
对于Flink作业来说，当垃圾回收开销超过系统限制时，可能会出现以下问题：
- 频繁的垃圾回收导致作业执行速度变慢，延迟增加，影响实时性能。
- 大量的内存消耗在垃圾回收上，导致可用内存不足，可能触发OOM（Out of Memory）错误，导致作业失败。
- 垃圾回收操作可能引起作业的暂停，造成作业中断或失败。
为了解决“超出GC开销限制”的问题，可以采取以下措施：
- 优化作业代码：减少对象的创建和销毁，合理使用对象池等技术，减少垃圾回收的频率和开销。
- 调整垃圾回收参数：通过调整JVM的垃圾回收参数，如堆大小、垃圾回收策略等，优化垃圾回收性能和效果。
- 增加集群资源：增加EMR集群的计算和内存资源，提供更大的内存空间供垃圾回收使用，降低垃圾回收对作业执行的影响。
- 使用更高版本的Flink或调整Flink配置：新版本的Flink可能对垃圾回收进行了优化，升级Flink版本或者调整配置可能有助于减少垃圾回收开销。
对于解决“超出GC开销限制”问题，腾讯云提供了一系列与Flink相关的产品和服务，可以帮助用户优化作业性能和解决垃圾回收问题。具体产品和服务包括：
- 腾讯云EMR：弹性MapReduce服务，提供高性能、可扩展的集群资源，支持运行Flink作业。链接：https://cloud.tencent.com/product/emr
- 腾讯云COS：对象存储服务，可以用于存储Flink作业的输入输出数据，减少对本地磁盘的依赖。链接：https://cloud.tencent.com/product/cos
- 腾讯云CVM：云服务器，提供计算资源，可以用于部署和运行Flink作业。链接：https://cloud.tencent.com/product/cvm
- 腾讯云VPC：虚拟私有云，提供安全的网络环境，保护Flink作业的数据和通信安全。链接：https://cloud.tencent.com/product/vpc
通过使用腾讯云的相关产品和服务，用户可以充分利用云计算资源，优化Flink作业的性能，避免“超出GC开销限制”等问题的发生。
相关·内容
EMR-Flink作业显示错误“超出GC开销限制错误”。EMR群集使用默认EMR角色在VPC内创建。Hadoop和Flink选项是从高级选项中选择的(我尝试了不同版本的Hadoop和Flink) Step方法用于提交带有参数集的自定义jar。作业从Aurora DB读取数据 问题:当从Aurora DB读取请求的行数较少时，作业会成功执行，但随着行数增加到数百万，我开始收到"GC开销限制超过错误“。我正在为Aurora DB连接使用JDBC驱动程序。在我的本地机器上，我没有遇到任何错误，并且无论读取请求中的数据大小如何，一切都正常。 确切的错误是： java.lang.OutOfMe
浏览 44提问于2020-01-21得票数 0
回答已采纳
下面是我在Flink中上传Jar的代码片段。我得到404回复这个帖子的要求。以下是请求的输出。我还尝试用/v1/jars/upload更新url，但响应相同。所有与jars相关的API都给了我相同的响应。我正在AWS中运行这段代码，它存在于EMR存在的同一个vpc中，运行我的Flink作业。像/config这样的API，在这个lambda中工作的/jobs，只有像upload jar这样的APIs，提交不起作用的作业，并为它们获取404。
<响应404> {“错误”：“未找到:/jar/上载”}
通过直接登录到作业管理器节点并运行curl命令，也尝试了相同的方法，但是得到了相同
浏览 5提问于2022-05-08得票数 0
我正在运行带有3个m5.x大节点(1个主节点，2个核心)和Flink 1.8的EMR集群(emr-5.24.1)。
在主节点上，我使用以下命令在纱线集群中启动Flink会话：
flink-yarn-session -s 4 -jm 12288m -tm 12288m
这是每个TaskManager的最大内存和插槽，让我根据所选的实例类型设置它。
在启动期间，有一个日志：
org.apache.flink.yarn.AbstractYarnClusterDescriptor - Cluster specification: ClusterSpecification{maste
浏览 0提问于2019-07-08得票数 0
回答已采纳
我在spark集群上的azure databricks python笔记本中执行打印"Hello World“作业。每次运行作业都需要12秒以上的时间来执行，预计执行时间不到12秒，因为它是任何人都能想到的最简单的python代码。当我验证日志时，它显示GC分配失败，如下所示： 2019-02-15T15:47:27.551+0000: [GC (Allocation Failure) [PSYoungGen: 312512K->57563K(390144K)] 498744K->243803K(1409024K), 0.0153696 secs] [Times: use
浏览 19提问于2019-03-06得票数 5
回答已采纳
2回答
在EMR上部署flink应用程序时出现此错误
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/api/common/serialization/DeserializationSchema
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.hadoop.util.RunJar.run(RunJar.java
浏览 2提问于2019-12-15得票数 0
我是Flink和EMR集群部署的新手。目前，我们有一个Flink作业，我们正在通过Flink CLI停止/启动作业命令在AWS EMR集群上手动部署它。
我想要自动化这个过程(在通过保存点的管道进行的每个部署中自动更新flink作业jar )，并需要一些关于可以探索的方法的建议。
浏览 3提问于2022-04-22得票数 0
我们已经在2个ec2实例的集群上安装了Dolphinscheduler 1.3。我们想要运行一个计划的flink作业。 我们有一个AWS EMR集群，并在其上运行Flink。 如何让DS管理EMR群集上的作业？我在DS上看到的唯一工作者组是“默认”工作者组，它包含我们安装DS的两个实例。
浏览 62提问于2021-01-15得票数 0
我有一个Flink 会话 集群在Kubernetes之上，最近我从基于ZK的HA切换到Kubernetes HA。 通读 https://cwiki.apache.org/confluence/display/FLINK/FLIP-144%3A+Native+Kubernetes+HA+for+Flink#FLIP144:NativeKubernetesHAforFlink-LeaderElection 我可以在Flink名称空间上观察到上述文档中描述的每个资源的配置映射： k8s-ha-app1-00000000000000000000000000000000-jobmanager
浏览 38提问于2021-02-12得票数 0
回答已采纳
我们正在使用emr上的yarn提交我们的flink(flink 1.8.0)作业。我们如何使用savepoint实现正常关机？stop命令无法识别-s或-p
浏览 15提问于2020-01-17得票数 1
回答已采纳
正在尝试在Amazon EMR Flink(5.21.0)上运行Flink(v1.7.0)作业。我得到了异常 java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V 异常看起来像是SCALA版本问题。我发现flink库是SCALA 2.11，而我的工作是使用2.12构建的。Flink 1.7.0支持SCALA 2.12。 问题是，如何让Amazon EMR支持SCALA 2.12而不是2.11？或者，除了我的代码回到2.11之外，还有更好的解决方案吗？
浏览 12提问于2019-03-01得票数 0
根据
AWS EMR“从AMI 3.1.1 (Hadoop 2.x)和AMI 2.4.8 (Hadoop 1.x)开始，您可以在一个长期运行的集群的生命周期内提交无限数量的步骤，但在任何给定时间只能有256个步骤处于活动状态或挂起”
我的问题是：
如果您已经达到256的限制，您将在哪里以及如何找到提交的其余作业？
EMR是否保持已提交作业的队列，当一个作业完成(成功/失败)时，它将从“不可见的客户端作业队列”中选择另一个作业吗？
如果EMR有这样的队列(如第2段所述)，它将保留这些工作多长时间？
我们能通过EMR访问吗?提交的作业不在256个作业之列？
我期待着你的回
浏览 0提问于2018-03-19得票数 2
回答已采纳
1回答
我正在尝试从python SDK运行一个基本的字数束管道，并在AWS EMR上使用flink yarn会话。我同时使用了flink runner和便携runner，得到了下面列出的两个不同的错误。这两种类型的运行器的作业都会显示在flink UI中，并在我的笔记本电脑上使用本地flink会话成功运行。 使用FlinkRunner时，作业以BeamApp-hadoop-0617202523-14894e58的身份运行，并显示错误： ERROR:root:java.lang.NoClassDefFoundError: Could not initialize class org.apache.b
浏览 17提问于2020-06-18得票数 2
回答已采纳
我现在已经设置了Flink，并在EMR上运行了一个作业，现在我正试图通过将指标发送到prometheus来添加监视。
在EMR上运行Flink遇到了一个问题。我使用Terraform来提供EMR (我在下载和运行作业之后运行ansible )。打开盒子，它看起来不像EMR的Flink发行版包括可选的jars (flink-指标-prometheus，flink-cep等等)。
看看弗林克的文档，上面写着
“要使用此记者，必须将/opt/flink-metrics-prometheus-1.6.1.jar复制到Flink发行版的/lib文件夹”
但是，当登录到EMR主节点时，/etc/f
浏览 0提问于2019-03-06得票数 4
回答已采纳
1回答
堆栈EMR: emr-6.1.0 (1个主节点，4个核心节点)安装的应用程序: FLINK 1.11.0
AWS文档显示()：
Beginning with Amazon EMR version 5.28.0, JobManager high availability is also enabled automatically. No manual configuration is needed.
但是当我发送杀死信号给Flink作业经理yarn container -signal container_1601027657994_0003_01_000001 GRACEFUL_SHUTDOWN
浏览 0提问于2020-09-28得票数 1
回答已采纳
我想每天运行一个工作自动在星火EMR，但我需要优化我的预算和使用EMR只有当我需要它。
那么，是否有一种方法只为一个作业运行一个EMR (AWS)，然后在作业完成后(每X天)杀死所有实例。
浏览 0提问于2018-01-23得票数 2
回答已采纳
1回答
我正在尝试从Apache收集指标到Prometheus。Flink文档说，我需要在我的flink- that . says中添加以下几行：
metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: localhost
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: myJob
浏览 0提问于2018-11-19得票数 3
回答已采纳
1回答
我正在运行的hadoop程序中有一个明显的内存泄漏。具体地说，我得到这样的消息: ERROR GC开销限制超出，随后出现异常
attempt_201210041336_0765_m_0000000_1: Exception in thread "Tread for syncLogs" java.lang.OutOfMemoryError: GC overhead limit exceeded
attempt_201210041336_0765_m_0000000_1: at java.util.Vector.elements (Vector.java:292)
attempt_
浏览 0提问于2012-11-30得票数 1
回答已采纳
我有Airflow作业，它们在EMR集群上运行得很好。我需要的是，假设我有4个airflow作业，需要EMR集群20分钟才能完成任务。为什么不呢?我们可以在DAG运行时创建一个EMR集群，一旦作业完成，它将终止创建的EMR集群。
浏览 4提问于2019-03-19得票数 2
4回答
EMR并行运行步骤
、、、
我正在电子病历集群上运行一个火花作业，我所面临的问题就是
触发的EMR作业正在分步骤执行(在队列中)
是否有任何方法使它们并行运行，如果没有，是否有任何修改？
浏览 6提问于2017-03-30得票数 7
1回答
我正在研究Flink 1.9.1的停靠/K8部署的可能性。
我正在读/看13。
目前，我们确实认为我们将尝试采用工作集群的方法，尽管我们想知道这个社区的趋势是什么？我们不希望每个Flink集群部署一个以上的作业。
总之，我想知道几件事：
如何更改职务和会话群集每个任务管理器的任务槽数？在我的例子中，我在VirtualBox上运行docker，其中我为这台机器分配了4个CPU。但是，每个任务管理器只生成一个用于“职务群集”的任务槽。但是，对于会话群集，在同一台机器上，每个任务管理器都生成4个任务槽。
在这两种情况下，Flink的UI显示每个任务管理器都有4个CPU。
如果使用职务群集，如
浏览 1提问于2020-01-10得票数 2
回答已采纳
1回答
我有几个要在AWS EMR上运行的长时间运行(流) flink作业。我从AWS控制台或使用aws cli阅读了执行此操作的步骤。但这是手动的。在生产环境中(在生产环境中，我可以有多个作业，可能还需要处理故障情况)，有哪些方法可以实现自动化？
浏览 28提问于2019-12-11得票数 1
1回答
有没有办法在AWS虚拟私有云上启动EMR作业？出于某种安全原因，我计划启动AWS简单工作流，启动集群，并使用AWS将作业添加到clusetr。
浏览 2提问于2014-09-16得票数 0
回答已采纳
我在flink 1.11.1中编写了一个flink批处理作业。作业成功完成后，我想做一些类似于调用http服务的事情。 我添加了一个简单的作业监听器来挂接作业状态。问题是，当kafka接收器操作符抛出错误时，作业侦听器不会触发。我希望当我的作业失败时，它应该触发我的作业侦听器并打印失败日志。 我如何确定工作是否成功完成？ 任何帮助都将不胜感激。 val env = StreamExecutionEnvironment.getExecutionEnvironment
env.registerJobListener(new JobListener {
override def onJ
浏览 168提问于2020-08-27得票数 0
我在AWS EMR上运行spark集群。如何在不使用spark UI的情况下获取在AWS EMR上运行的作业和执行器的所有详细信息。我将使用它来进行监控和优化。
浏览 0提问于2016-12-08得票数 4
1回答
我已经将用python编写的ML作业代码包含到一个码头容器中，并能够使用Amazon作为码头服务运行。我想使用星星之火以分布式方式运行，并在亚马逊EMR.Can上部署，建立ECS和EMR之间的连接？
浏览 3提问于2017-05-25得票数 9
回答已采纳
我正在尝试将使用SSIS包创建的数百个提要文件ETL作业替换为apache作业(以及kuberentes作为底层代码)的可行性。我在一些文章中看到的一条建议是“为一种类型的作业使用一个flink集群”。
由于我每天都有几个作业类型，这意味着最好的方法是在执行作业时动态创建闪烁群集，并销毁它以释放资源，这样做正确吗？我要在没有职务经理的情况下设置Flink群集。
任何关于批量ETL活动使用flink的最佳实践的建议。
也许是最重要的问题: flink是问题陈述的正确解决方案，还是我应该更多地研究Talend和其他经典ETL工具？
浏览 2提问于2020-08-17得票数 0
回答已采纳
即使在sts配置文件中设置了-Xms1024m，-Xmx4096m，-XX:-UseGCOverheadLimit之后，我仍然在获取Spring中的java.lang.OutOfMemoryError: GC overhead limit exceeded，任何人都能告诉我如何修复这个错误吗？
浏览 0提问于2016-12-16得票数 0
我负责EMR的Flink作业。在我的EMR集群中，我可以在s3 Log URI:s3://aws-logs-xxxxx/elasticmapreduce/中看到我的作业日志，我的主节点中也有一些/usr/lib/flink/log/下的日志。因为我们只为根空间配置了20G，所以由于这些日志文件(flink-flink-historyserver-xxxxx.log)在/usr/lib/flink/log/下很容易达到限制。
我的问题是：
在/usr/lib/flink/log/As中定义写入日志文件的--只要我们已经登录了s3，我们还需要/usr/lib/flink/log/下的日志吗？，有什
浏览 3提问于2021-09-23得票数 0
2回答
我有一个在EMR中执行的简单MapReduce作业。输入文件使用AES key加密并存储在S3中。
如何将MapReduce作业配置为在将S3文件传递给映射器之前对其进行解密？
浏览 1提问于2015-08-30得票数 0
在配置文件(job-manager- config /flink-conf.yaml，task-manager-config/flink-conf.yaml，job-manager-config/zoo.cfg，...)为了将Flink应用程序部署从会话模式更改为作业模式？ 此外，我们通过一个ansible角色在openshift上设置了flink集群，但不幸的是，它不是从ansible galaxy存储库中获取的，所以我不能引用任何已发布的设置。可能，大多数配置更改都必须在上面提到的配置flink文件之外的地方完成。 我不明白的是，如何控制提交新作业会自动为每个作业派生一对新的作业管理器和
浏览 33提问于2019-09-06得票数 1
回答已采纳
如果使用AWS EMR运行，是否有方法启动Flink web客户端以允许提交作业？我已经下载了FLink 1.1.2，在旧的文档中，我看到了对./bin/start-webclient.sh的引用，这在我下载的二进制文件中是不存在的。
有什么方法可以启动这个网络客户端吗？
浏览 4提问于2016-09-12得票数 1
回答已采纳
我有一个Flink的工作，从卡夫卡(0.9版)，并写信给雷迪斯。我希望监控由Flink应该能够转发的由Kafka发出的records-consumed-rate和records-lag-max度量。在这种情况下，我将转发给Datadog。
当我以1的并行度开始作业时，我看到这个度量很好地发出。但是，如果我使并行度大于1，则不再转发此度量。作业在并行度>1时运行，因为我可以看到条目正在写入Redis。
我在AWS EMR上运行Flink (v1.6.2)：
主节点：(1) m4.大
核心节点：(1) c4.2xlarge
num.task.managers: 1
slots
浏览 0提问于2019-04-18得票数 0
我在Amazon EMR中运行Flink。在flink-conf.yaml中，我有metrics.reporter.prom.port: 9249-9250，这取决于作业管理器和任务管理器是否在同一节点上运行，任务管理器指标在端口9250 (如果与作业管理器运行在同一节点上)或端口9249 (如果在不同节点上运行)上报告。
是否有一种方法可以配置为始终在端口9250上报告任务管理器指标？我看到了一个，我们可以“为每个*管理器提供单独的配置”。如何做到这一点？
谢谢
浏览 12提问于2018-08-31得票数 0
我正在从AWS控制台(使用Add )启动EMR中的Flink作业，并希望传递JVM参数。根据Flink文档，我们应该按照下面的方式传递args。
flink run -m yarn-cluster -p 2 /home/hadoop/flink-0.0.1-SNAPSHOT.jar -yD env.java.opts="-Dspring.profiles.active=dev -Djob.name=Flink_Job_1 -Dkafka.brokers:<>:9092" -yid application_1591030260237_0047
我有两个问题
flink
浏览 18提问于2020-06-23得票数 0
1回答
我有一个FlinkV1.2设置，在它自己的VM中有1个JobManager，2个TaskManagers。对于上述每个主机，我将状态后端配置为文件系统，并将其指向本地位置( file:///home/ubuntu/Prototype/flink/flink-checkpoints).：state.backend.fs.checkpointdir我已经将parallelism设置为1，并且每个任务管理器都有一个插槽。然后，我在JobManager上运行一个事件处理作业，将它分配给一个TaskManager。我杀死了运行作业的TaskManager，在失败的TaskManager上进行了几次不成功
浏览 25提问于2017-03-08得票数 0
1回答
在flink cli和作业管理器之间可以使用哪些身份验证方法？
或者，有哪些插件API可用于插入我自己的身份验证解决方案，而无需破解和重新构建cli和后端？
浏览 0提问于2020-03-10得票数 0
我正在使用此工具执行Flink作业。我认为两者都可以通过正确的配置来完成完全相同的任务。Kinesis Data Analytics是否做了EMR不能做的事情，反之亦然？ Amazon Kinesis Data Analytics是分析流数据、获得可操作的洞察并实时响应业务和客户需求的最简单方法。 Amazon Elastic Map Reduce提供了一个托管的Hadoop框架，使其能够轻松、快速且经济高效地跨动态可扩展的亚马逊Hadoop实例处理海量数据。您还可以在EMR中运行其他流行的分布式框架，如Apache Spark、HBase、Presto和Flink。
浏览 29提问于2019-05-17得票数 7
我使用EMR5.30.0并尝试使用以下命令提交Flink (1.10.0)作业
flink运行-m纱线-集群/home/hadoop/flink-测试-0.0.1-SNAPSHOT.jar
我得到了以下错误：
Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment.
在遍历了工人节点上的日志和作业管理器日志之后，似乎出现了端口冲突。
20
浏览 4提问于2020-06-17得票数 1
我找不到关于如何安全更新代码的说明。我看到了有关如何使用保存点的Flink文档。我希望有一个简单的解决方案来更新AWS EMR中的Flink作业。 https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/deployment/aws.html https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/upgrading.html https://ci.apache.org/projects/flink/flink-docs-stable/ops/st
浏览 28提问于2020-06-11得票数 1
1回答
我正尝试在EMR Spark上运行多个yarn应用程序，但我无法同时运行超过5个应用程序。
我正在为Spark Cluster使用以下配置：
Master = r5.2xlarge
Worker = r5.12xlarge 384 GB RAM 48个虚拟核心部署模式=群集
JSON
{
"Classification":"spark-defaults",
"ConfigurationProperties":{
"spark.executor.extraJavaOptions":
浏览 7提问于2019-07-11得票数 0
回答已采纳
在emr上运行spark-submit作业时，我如何指定希望jvm使用MarkSweep gc？我可以与作业(即spark-submit -- conf...)一起提交它吗?如果可以，命令是什么？这是否必须在spark启动时设置，如果是，我如何在emr配置中指定？
谢谢!
浏览 5提问于2019-03-26得票数 0
回答已采纳
我正在使用Kafka Mirrormaker来模拟到运行Spark的弹性MapReduce集群的生产流量。下面是我的设置：
1)一个Kafka Mirrormaker实例消耗生产Kafka实例并填充测试Kafka实例
2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例，并发布到新的Kafka集群
3)弹性MapReduce集群消费3)中的Kafka集群。
问题是我在日志文件中看到了kafka.common.OffsetOutOfRangeException错误。我想知道如何防止这种情况发生。
这是我在运行EMR作业时使用的过程：
1)杀死我正在运行的Mirr
浏览 0提问于2018-12-28得票数 0
请让我知道我们是否可以通过一个作业管理器来控制多任务管理器集群？我的想法是在每个作业中有多个flink集群，并仅由一个作业管理器来管理它们，以节省JM的资源。
浏览 6提问于2022-10-05得票数 0
1回答
我在电子病历里运行我的Flink罐子。我将logback.xml设置为/mnt/var/flink.log作为它在Emr上运行时的路径。我只能看到运行jar时由Emr生成的日志，但看不到我的日志。请给我一个方法，如何获得我已经定义的程序中的日志，在Emr中作为Flink jar运行。我无法找到适当的解决办法。我的logback.xml看起来像：
<configuration>
<logger name="org.apache.flink.runtime.jobgraph.JobGraph" level="INFO" additivity=
浏览 3提问于2018-05-30得票数 0
回答已采纳
我希望将eclipse中的java代码中的作业添加到正在运行的EMR集群中，以节省启动时间(创建ec2、引导.)。
我知道如何从java代码运行一个新的集群，但是在完成所有的工作之后，它就会终止。
RunJobFlowRequest runFlowRequest = new RunJobFlowRequest()
.withName("Some name")
.withInstances(instances)
// .withBootstrapActions(bootstrapActions)
.withJobFl
浏览 1提问于2015-08-14得票数 1
回答已采纳
基本上，我希望将Flink自定义JAR文件部署到新的AWS EMR集群中。这是我所做的事情的总结。我创建了一个新的AWS EMR集群。
步骤1:软件和步骤更改-
- Created a AWS EMR cluster with flink as the service. (EMR release version - 5.17.0) and clicked Flink 1.5.2 as the software configuration.
- Entered the Configuration JSON:- {“分类”："flink-conf“、”属性“：{ "jo
浏览 0提问于2018-10-09得票数 0
回答已采纳
我们正在运行一个Flink集群来计算历史to级的流数据。数据计算有一个巨大的状态，我们使用键控状态-值和映射状态与RocksDb后端。在作业计算的某个时刻，作业绩效开始下降，投入和产出率下降到几乎为0。在这一点上，可以在日志中看到像'Communication with Taskmanager X timeout error‘这样的异常，但是作业甚至在此之前就已经被破坏了。 我认为我们面临的问题与RocksDb的磁盘后端有关。随着作业状态的增长，它需要更频繁地访问磁盘，这会将性能拖到0。我们已经尝试了一些选项，并设置了一些对我们的特定设置有意义的选项： 我们使用的是SPINNING_
浏览 31提问于2019-08-26得票数 0
我尝试了一个简单的DAG来运行三个任务，每个任务上都有传感器，在EMR上运行，如下所示：
EMR_creation -> T1 -> S1 -> T2 -> S2 -> T3 -> S3 -> EMR_termination.
我遇到的问题是T1-S1成功了，但是由于错误，T2从未启动：
错误--在调用ValidationException操作时发生错误:关闭、终止或完成的作业流可能不会被修改。
同样的错误会重复，因为我设置重试步骤，而不是记录在EMR集群中，这是有意义的。我曾试图在T1或T2中加入不同的任务，但没有改进。
浏览 0提问于2020-07-08得票数 0
1回答
在EMR的flink中，我遇到了s3p检查点的问题。
在创建EMR集群时，我在Presto中有一个滴答，并按照的指示添加了jar文件。
但是，当s3p在flink中检查点时，它仍然报告
由: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:导致的无法为方案“s3p”找到文件系统实现。Flink通过以下插件直接支持该方案: flink-s3-fs-presto。请确保每个插件都驻留在插件目录中自己的子文件夹中。有关详细信息，请参阅。如果您想要为该方案使用Hadoop文件系统，请将该方案添加到Configurationfs
浏览 1提问于2020-11-03得票数 0
回答已采纳
Hi正在搜索web和amazon文档，以了解如何在aws上现有的emr纱线集群上运行spark作业。
我被困在下面。我已经设置了一个本地* spark集群进行测试；现在我想在aws emr上测试它。
因此，到目前为止，我已经在aws上创建了一个emr集群，无法找到运行以下代码的文档。这在以下情况下在本地工作：
"spark.master.url" is set as local[*]
班级代码：
public class SparkLocalImpl implements DataMapReduce{
private static SparkConf conf;
privat
浏览 0提问于2019-02-10得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
