我是一个在AWS中创建步骤函数的新手。我已经创建了一个EMR集群，并希望向其中添加一个步骤。我使用下面的命令： "Next": "Run first step" "Run first step": { "Resourceelast
浏览 40提问于2021-09-16得票数 0
1回答
我在S3中有pyspark代码，我将执行它们，并用Pyspark编写测试用例，并将其加载到雪花中。我的工作每天运行1分钟，如果工作失败也需要日志记录。我是新的aws，如何触发一个新的EMR和执行电火花作业？我知道我们可以通过气流来做这件事，我们可以通过AWS或者其他任何方法来做吗？谢了，习
浏览 27提问于2022-02-22得票数 1
我想基于S3上的文件上传事件在AWS EMR集群上执行spark提交作业。我正在使用AWS Lambda函数来捕获事件，但我不知道如何从Lambda函数在EMR集群上提交spark提交作业。我搜索的大多数答案都涉及到在EMR集群中添加一个步骤。但我不知道是否可以添加add any step来在添加</e
浏览 34提问于2017-08-21得票数 16
我有一个emr步骤，它是通过step功能提交的。在步骤运行期间，我可以看到任务被提交，但是emr步骤没有执行，emr控制台没有任何信息。
我如何调试这个？如果步骤没有在阈值时间框架内开始执行，我如何发送sns ?在我的示例中，step函数显示已提交的emr任务，但没有关于emr</
浏览 3提问于2021-08-14得票数 0
回答已采纳
我有一个主emr集群在做一系列的步骤工作，我必须再添加8个步骤。
我面临的问题是，第一个EMR集群对于这8个步骤来说太强大了。因此，我想知道是否有一种简单的方法可以在第一个集群完成时自动旋转另一个集群(它将从r4.8xlarge降级到r4.xlarge，8到10个实例)。无论硬件是什么，这些步骤都需要4小时，这就是为什么我的目标是降低集群的成本。
浏览 0提问于2019-09-12得票数 0
我是EMR和火花公司的新手。我正在经历这里提到的这个步骤，。在step#5中，它要求在远程Amazon集群.上复制/etc/hadoop/conf中的所有文件。想知道如何从/etc/hadoop/conf获取这些文件。
如果我的理解有误，请纠正我。预先感谢和感谢。
浏览 3提问于2019-07-27得票数 1
回答已采纳
我正在创建一个任务来解析大量的服务器数据，然后将其上传到Redshift数据库中。我的工作流程如下：
将数据从S3上传到Redshift。不过，我还想不出如何实现自动化，这样我的过程就会产生一个EMR集群，引导正确的安装程序，并运行我的python脚本，它将包含用于解析和编写的代码。有没有人有任何例子，教程，或经验，他们可以与我分享，以帮助我学习如何做到这一点？
浏览 7提问于2016-04-19得票数 17
回答已采纳
我正在尝试通过Lambda调用一个步骤函数。并且lambda将输入json转储到步进函数。下面是Lambda的阶跃函数的输入： "name": "Add step to EMR cluster", "TransactionId": "c6a3ea17NEA_FINAL_08072020_20.txt",
"BucketName&q
浏览 0提问于2020-08-11得票数 0
我正在运行一个启动AWS EMR并在其上运行步骤的Java作业。在向EMR中添加一个步骤之后，我调用listSteps函数来获取这些步骤的状态，并等待它们全部完成/失败。我注意到，有时函数listSteps不包括我添加的最后一个步骤，如果我在添加它之后调用它。这让我认为所有的步骤都已经完成了，而实际上最近的一步甚至还没
浏览 1提问于2015-07-20得票数 0
回答已采纳
2回答
我是非常新的AWS步骤函数和AWS Lambda函数，并可能真的需要一些帮助。我有一个状态机，在这里我试图检查某个文件是否存在于我的S3桶中，然后让状态机按照一个路径运行，如果该文件存在，那么另一个路径，如果它不存在的话。如您所见，我试图使用Lambda函数返回变量FoundNecessaryFiles，状态为true/false，具体取决于是否找到了该文件，并使用该值指导下一步的选择。最好是通过修正变量回传来解决这个问题，因为我可能需要在稍后的状态机
浏览 0提问于2019-10-14得票数 3
回答已采纳
3回答
我是这个步骤函数和AWS的新手。在AWS (EMR)中，可以从另一个步骤函数调用一个步骤函数吗？我正在开发一个步骤函数，在停止EMR之前，我必须在EMR中包含Step函数。
这里我有两个场景。1)我必须从SFN3调用SFN2，并在SFN2中停止EMR。( 2
浏览 0提问于2018-10-25得票数 6
回答已采纳
我有类似这样的东西，它对硬编码/预先知道的日期有效，但我希望在执行流程时有指定日期的选项：import datetime
import
浏览 1提问于2015-05-08得票数 6
2回答
我对AWS Step函数和AWS Lambda函数非常陌生，我真的需要一些帮助来让EMR集群通过Step函数运行。我不确定的是如何处理与EMR群集相关的步骤。
在我目前的结构中，第一项任务是建立一个EMR集群。这可以通过直接使用Step函数JSON来完成，或者最好是使用我位于我的EMR-clu
浏览 3提问于2019-10-14得票数 1
我们有一个红移集群，不是在VPC中的，我一直试图从VPC中的EMR集群(连接互联网网关)连接到它，到目前为止没有运气。我想知道是否有可能做到这一点。注意-我已经尝试在VPC公共子网中启动一个新的红移群集，并且能够从同一个子网中的EMR连接到它。
浏览 0提问于2020-08-05得票数 0
回答已采纳
我正在从Databricks迁移到Amazon EMR，并计划使用Zeppelin笔记本取代Databricks笔记本。目前，许多Databricks笔记本都被安排为作业。有没有办法在Amazon EMR中创建定期作业或添加Zeppelin笔记本作为定期步骤运行。任何对文档的引用也会很有帮助。
浏览 5提问于2019-03-13得票数 1
1回答
我有一个有效的EMR步骤，大约需要500秒。with exitCode 0 and took 576 seconds 当我尝试使用步骤函数运行相同的步骤时，spark-submit代码看起来是一样的，但有一个错误： 2021-09-19T18:36:59.786Z INFO StepRunner: Created Runner for step 7
INFO startExec 'hadoop jar /var/lib/aws&#
浏览 39提问于2021-09-23得票数 0
回答已采纳
如何使用boto将步骤添加到正在等待的Amazon EMR作业流，而作业流在完成后不会终止？
我已经在Amazon的Elastic Map Reduce上创建了一个交互式作业流，并加载了一些表。当我使用Boto的emr_conn.add_jobflow_steps(...)向作业流传递新步骤时，作业流在完成或失败后终止。我知道可以使用带有keep_alive参数的run_jobfl
浏览 6提问于2011-11-01得票数 1
回答已采纳
我有一堆SQOOP作业，我想通过EMR附加步骤启动。我现有的预置方法是并行运行，直到纱线资源耗尽.
我注意到，当我为单个SQOOP作业创建一组附加步骤时，它们本质上是连续的。问:有什么方法可以让我并行运行我的附加步骤吗？(限制:我无法直接访问主节点来启动应用程序。)我确信我在这里遗漏了一些琐碎的东西；因为它听起来像是一个巨大的限制，即在EMR中不能使用add进行并行处理。
浏览 0提问于2019-03-29得票数 0
使用terraform创建电子病历时，我需要通过terraform添加电子病历步骤，因为我需要禁用"keep_job_flow_alive_when_no_steps“。我如何才能做到这一点？
浏览 19提问于2018-01-17得票数 1
3回答
我在Amazon中创建了一个集群，并使用-emr-4.0.0。Hadoop发行版:Amazon2.6.0和Hive1.0.0。需要安装Sqoop以便我可以在Hive和Redshift之间进行通信吗？在EMR集群中安装Sqoop的步骤是什么？请求提供步骤。谢谢!
浏览 5提问于2015-08-13得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
