1回答
我使用aws glue来转换dynamodb表中的数据。我能够获取数据并使用pyspark逻辑进行转换。但是当我尝试将文件写入json格式时，我得到了一个无效的json格式.。在转换这个json文件时需要帮助。
浏览 10提问于2020-05-19得票数 0
一个dynamodb表被导出到s3，aws胶水爬虫会爬行s3数据。Aws胶水作业从爬行数据中获取源代码，下面是由MergeLineItems转换的模式： rec["lineItems1"] = {}[ "M": "expec
浏览 1提问于2021-09-15得票数 1
回答已采纳
从中选择数据并进行数据标准化(有些标准化使布尔字段统一，如有值0或1，将所有数据格式列转换成一个非格式的标准，如dd/mm/yyyy :mi:ss，对某些列数据的裁剪空间等)。数据移动使用胶水作业、电火花代码、用于编排的Step函数和用于存储作业配置的Dynamodb以及用于存储元数据的glue目录来完成。需要在Dynamodb中以这种方式存储标准化规则，这样胶水作业就可以从DynamoD
浏览 0提问于2020-09-07得票数 0
我编写了一个胶水作业，它导出DynamoDb表并以csv格式存储在S3上。胶水作业和表位于同一个aws帐户中，但是S3桶位于不同的aws帐户中。我已经能够从胶水作业中访问跨帐户的S3桶，方法是将下面的桶策略附加到它。"arn:aws:s3:::<BUCKET-NAME>/*" }}
现在，我还想从另一个AWS帐户读取/访问DynamoD
浏览 1提问于2019-05-21得票数 1
我使用AWS将数据从DynamoDB复制到S3。我编写了下面的代码，以便将DyanmoDB表复制到同一个帐户中的S3。它的工作很好，复制我的六亿张记录，没有任何问题。大约要花20分钟。": read_percentage,
"dynamodb.splitstransformation_ctx="datasink"
浏览 1提问于2020-03-21得票数 2
2回答
我需要从Source DynamoDB表中完成一些分组工作，然后将每个结果项写入另一个目标DynamoDB表(或源表的辅助索引)。注意:必须将每个生成的分组项写入一个单独的DynamoDB项(即，如果分组产生了X个对象，则必须将X项写入目标DynamoDB<em
浏览 7提问于2020-04-13得票数 5
回答已采纳
2回答
我需要将数据从一个生成器表复制到另一个生成器表，并在此过程中进行一些转换。为此，我将数据从源表导出到s3，并在其上运行crawler。在我的胶水作业中，我使用了以下代码： mapped = apply_mapping.ApplyMapping.apply( mappings=[", "dynamodb.region": &qu
浏览 18提问于2021-02-12得票数 3
回答已采纳
我正在执行一个在AWS EMR上的吡火花应用程序，该应用程序被配置为使用AWS Glue数据目录作为亚稳态。我在AWS中设置了一个指向DynamoDB表的表。现在，在我的pyspark脚本中，我试图访问Glue表。我可以做show tables，并能看到胶水表。但是当我试图查询表时，我得到的是异常，
pyspark.sql.utils.AnalysisException: u'java.lang.Illeg
浏览 2提问于2019-04-25得票数 4
回答已采纳
我正在寻找一个以亚马逊网络服务为中心的解决方案(如果可能的话，避免第三方的东西)来可视化一个非常简单的DynamoDB表中的数据。我们使用AWS Quicksight为我们的客户提供许多其他报告和仪表板，因此我们的目标是在那里提供可视化。我非常惊讶地发现，尽管有许多其他的东西，比如S3，雅典娜，红移，RDS等，DynamoDB却不是Quicksight的支持源码。
有人有为此创建解决方案的<
浏览 3提问于2019-09-04得票数 25
2回答
胶水作业模式推理问题
、、、、
请求：我需要一个胶水作业将aws(嵌套结构-映射和列表的组合)数据导入s3。 "dynamodb.input.tableName": table_name,
"dynamodb.throughput.read.percent": read_percent
浏览 3提问于2020-08-24得票数 0
回答已采纳
我们有一个AWS Glue作业，它从按需容量设置的dynamodb表中提取。但是，一旦我们将表更改为按需操作，胶水作业就需要很长时间才能完成。据推测，胶水作业试图使用一部分可用的read capacity...but，这在新的容量模型中是没有意义的。
我们希望把我们所有的桌子都移到新的按需容量设置，但这对我们来说将是一个障碍。
浏览 1提问于2019-06-05得票数 2
回答已采纳
我已经用python编写了一个AWS胶水作业ETL脚本，我正在寻找一种适当的方法来执行对作为目标的DynamoDb表的条件写入。# Write to DynamoDB frame=SelectFromCollection_node1665510217343,
浏览 18提问于2022-12-01得票数 0
回答已采纳
我正在尝试使用AWS Glue将我的DynamoDB表导出到S3。对于glue作业，我需要在glue数据目录中创建一个表。为了将我的DynamoDB表列在data catalog中，我需要运行一个爬虫(我想是为了确定表模式)。当运行爬虫程序时，它开始从DynamoDB读取超过我尝试提供的任何读取容量单位的大量数据。不幸的是，我找不到一种方法，既不能在控制台上，也不能在API中，在确定模式时更改给定爬
浏览 14提问于2018-08-08得票数 0
回答已采纳
我使用Java将dynamodb表导出到ExportTableToPointInTimeRequest中的S3。我只想在导出完成后才处理接下来的步骤，因为还有一个与胶水作业相关的任务，它将从s3导出中读取数据。在处理下一个步骤之前，我能做什么使代码等待一定的时间？.withTableArn(tableArn) .withExportFormat(ExportFormat.DYNAMO
浏览 4提问于2022-06-09得票数 0
我使用IAM角色来完成一些数据处理的胶水作业，为了完成这个任务，我需要承担执行胶水角色的角色。例如，在下面的cloudformation模板中，IAM::Policy拥有从Dynamo表查询和从s3桶获取对象的权限。Resource: - Effect: Allow - 'dynamodb</em
浏览 0提问于2020-10-17得票数 0
我有一个用例，我必须一次将5000条记录写入dynamoDB表。我正在使用batchSave api的DynamoDBMapper库。它可以一次写多达25张唱片。我是否可以将5000条记录的列表传递给它，它将在内部将它们转换为25条记录并写入dynamodb表，或者我必须使用条件逻辑在代码中处理这件事，并且只将25条记录传递给batchSave？
浏览 13提问于2020-07-01得票数 2
1回答
我想要一个触发器启动一个胶水作业，一旦100个新的文件(自从上次触发器被触发)被添加到s3之后。如何才能做到这一点？
浏览 12提问于2022-01-31得票数 0
回答已采纳
对于我的辅助索引，我希望有一个键列，它是基表中两个列的分号分隔的数据。
是否可以创建一个自定义逻辑来为辅助索引中的键列生成这样的值？
浏览 0提问于2018-11-12得票数 0
回答已采纳
1回答
我创建了一个胶水爬虫，以便从s3桶中压缩的json文件中获得一个表模式。并使用胶水作业读取压缩文件，转换数据并写入DynamoDB。在将一些数据写入表后，它会抛出"AmazonDynamoDBException:提供的键元素与模式不匹配“。我想这可能是键映射的问题。爬虫获取的表模式如下所示： "item": {
"clockID":
浏览 2提问于2022-09-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
