我已经定义了一个glue job来将数据从s3源存储桶转换到s3目标存储桶。我在作业中使用的脚本是Python。它运行良好，并将许多数据加载到目标存储桶中。但后来我更改了模式，更新了python脚本以删除一个字段(edited)：重新运行作业后，到达s3源存储桶的新<em
浏览 11提问于2019-07-30得票数 0
回答已采纳
我在aws胶水控制台中从向导中生成了一个胶水作业。在生成任务时，我没有更改默认脚本。它从postgres数据库表(源)中获取数据，并写入另一个postgres数据库(Target)。每当任务运行时，它都会将完整的源数据库表复制到目标表，即使源中没有插入、更新或删除。我理解在启用书签的情况下，它应该只复制上次运行时源中的更改，但这不会发生。因此，如
浏览 2提问于2017-12-18得票数 3
回答已采纳
1回答
我使用Glue Studio创建了一个AWS胶水作业。它从Glue data Catalog中获取数据，执行一些转换，然后写入不同的Data Catalog。在配置目标节点时，我启用了在运行以下命令后创建新分区的选项：作业成功运行，数据以正确的分区文件夹结构写入S3，但没有在实际的数据目录表中创建新分区-我仍然需要运行胶水爬虫来创建它们。生成的脚本中负责创建分区的代码如下(作业<
浏览 5提问于2021-03-19得票数 5
嗨，我是AWS胶水的新手。有没有可能找到我正在运行并在MySQL中更新的胶水脚本的作业状态。在胶水脚本从脚本内部完成执行后，我正在尝试获取它的状态。从下面的代码中，我只得到了Mysql中更新后的运行状态，但是它应该是成功的，还是失败的。
浏览 0提问于2019-05-01得票数 1
回答已采纳
3回答
我有一个用python编写的ETL作业，它由具有以下目录结构的多个脚本组成； | | | | |-- dynamoDB_service.py在上传到dev终结点创建的ETL集群后，上面的代码在dev端点上运行得非常好。因为现在我想在生产中运行它，我想为它创建一个合适的胶水作业。似乎胶水作业不接受.zip格式？如果是，那么我应该使用什么压缩格式？更新:我检查
浏览 3提问于2020-04-14得票数 9
回答已采纳
2回答
对于传统的ETL，常见的模式是从目标表中查找主键，以决定是否需要进行更新或插入(也就是重新插入设计模式)。使用胶水，似乎没有相同的控制。简单地写出动态框架只是一个插入过程。我可以想出两种设计模式来解决这个问题：
这是我首先探索的第二种方法。在A
浏览 0提问于2019-04-01得票数 2
回答已采纳
我正在尝试将一些数据从雅典娜表定期复制到极光数据库中。我可以弄清楚如何设置JDBC连接，爬虫，并创建一个作业，能够成功地将所有数据从雅典娜复制到Aurora数据库。但是，多次运行同一作业会导致重复。我已经使用作业书签部分解决了它，但如果雅典娜表的数据更改了很少的记录，S3文件的时间戳更改，胶水认为这是新的数据，并将数据重新插入极光表。我正在尝试做同样的事情，在阶段
浏览 17提问于2019-12-29得票数 0
我有一个问题，我已经设置了enableUpdateCatalog=True和updateBehaviour=LOG来更新我的胶水表，它有一个分区键。作业完成后，在我的胶水目录表上没有添加新的分区，但是S3中的数据由我使用的分区键分隔，如何使作业自动划分我的胶水目录表？目前，我必须手动运行boto3 create_partition来在胶水目录表上创建分区。,
additional_options=additi
浏览 25提问于2022-09-09得票数 0
回答已采纳
1回答
目标I被保留为S3/csv格式，并具有源和目标之间字段的默认映射。我选择了SparkStreaming作为作业类型。3)当使用Kafka Stream时，需要手动创建AWS Glue数据库中AWS Glue - Table/Schema的输入源。但是我不确定表模式是否创建正
浏览 0提问于2020-06-04得票数 0
1回答
如何确保S3事件的保证交付？
、、、、
我正在尝试实现一个数据处理作业，它处理新添加到S3的数据。我正在运行一个Glue PySpark作业来处理新添加到S3中的数据。胶水作业处理来自桶和对象键的新数据。
如果lambda不可用，S3事件将丢失。如果胶水作业因意外原因失败或根本不运行，则S3事件将丢失。理想情况下，如果Glue没有成功地处理消息，则应
浏览 8提问于2022-01-17得票数 0
1回答
我想使用胶水从RDS中提取数据，转换/清理它并加载到S3 PostgresDB中，这样我就可以使用雅典娜和Quicksight来可视化数据和创建报告。我目前正在编写数据清理的胶水作业(删除空值之类的东西)。但是我看不到预览作业脚本结果的简单方法。只有在运行完作业后，我才能在S3存储桶中看到结果。运行该作业至少需要10分钟才能启动，还需要几分钟才能完成。因此，我有大约15分钟的往返时间来查看
浏览 6提问于2019-08-19得票数 0
回答已采纳
1回答
我的胶水工作流程是DDB ->胶水表(使用Crawler) -> S3 (使用胶水作业)
在运行工作流之前，我手动创建S3文件夹。For DDB表，其大小为500 MB总是运行良好的(运行7-10分钟即可完成)，s3路径将有正确的结果:例如:s3://glue_/ddb_500 MB/(连接到s3后在雅典娜检查数据是正确的)。For DDB表的大小为50 s3的文件夹被胶水作业删除(运行2小时即可完成
浏览 4提问于2022-08-26得票数 1
回答已采纳
我有一个用于这些分区的粘合表，可以使用Athena查看数据。运行胶水作业并尝试访问Catalog时，我收到以下错误：
HadoopDataSource: Skipping Partition {} as no new files detected @ s3:..，因为它是定期更新的。我认为问题出在胶水作业书签没有检测到新文件，但这并不是直接作为作业的一部分运行，而是作为作业使用的库的一部分运行。删除"transformati
浏览 39提问于2021-05-19得票数 0
1回答
我们设置了多服务器管理，以便在目标服务器上创建一个作业，这是因为目标服务器在病毒攻击后被关闭，我们设置了一个新的SQL server，名称相同，并恢复新服务器上的所有数据，包括主数据库，所有的作业都正常工作，但现在问题发生了，当我试图更新它们时，我可以在主SQL server上更新作业以更改计划，但是目标服务器没有更新，因为它在原来的旧服务器因病
浏览 0提问于2020-12-29得票数 1
胶水从JDBC源在s3中创建Parquet文件。col1 col2时间戳今天的key2再评估2期望产出：
key1准价1.今天key3将于明天进行.
浏览 1提问于2018-01-23得票数 0
4回答
我考虑了6个DPU (4个vCPU+ 16 GB内存)，ETL作业在30天内运行10分钟。假设预期的爬网程序请求数高于空闲层100万次，对于额外的100万次请求计算为$1。我还没有考虑其他额外的费用，如S3，RDS，Redshift等。和DEV Endpoint，这是可选的，因为我的目标是比较ETL工作价格优势 与AWS Glue相比，EMR看起来更便宜。
浏览 104提问于2018-02-07得票数 17
回答已采纳
1回答
我已经阅读了所有的文档，并且我似乎不知道如何获得Nutch爬行的状态，除非它是作为一个作业开始的。
我用Solr 4.10运行Nutch 1.10。
浏览 6提问于2015-10-08得票数 0
回答已采纳
我希望在两个不同的Talend项目中使用Oracle数据库表中的CDC更改。"Talend CDC“支持这样的要求吗？
浏览 15提问于2017-03-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
