使用亚马逊网络服务数据管道将数据从PostgreSQL复制到S3
使用亚马逊网络服务数据管道将数据从PostgreSQL复制到S3
提问于 2019-03-29 00:48:14
我正在尝试将模式中的所有表(PostgreSQL、50+表)复制到亚马逊S3。
做这件事最好的方法是什么？我可以创建50个不同的复制活动，但是有没有一种简单的方法来复制模式中的所有表，或者编写一个管道和循环？
回答 2
Stack Overflow用户
发布于 2019-03-29 04:21:00
我认为旧的方法是：
1. Unload your data from PostgreSQL to a CSV file first using something like psql
2. Then just copy the csv to S3但是，亚马逊网络服务给了你一个这样做的脚本，RDSToS3CopyActivity查看来自亚马逊网络服务的this链接
Stack Overflow用户
发布于 2019-03-29 04:26:30
因为您有大量的表。与AWS Data Pipeline相比，我建议使用AWS Glue。Glue很容易配置，有爬虫等，允许你灵活地选择列，定义等。此外，AWS Glue中的底层作业是pyspark作业，伸缩性非常好，给你带来了非常好的性能。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55408978
复制相关文章
相似问题
腾讯云开发者
