腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
我们是否可以使用AWS glue来分析
RDS
数据库
,并使用
ETL
将分析后的数据存储到
rds
mysql表中
、
、
我想使用AWS glue进行
ETL
过程。 我们是否可以使用AWS glue来分析
RDS
数据库
,并使用
ETL
作业将分析的数据存储到
rds
mysql表中 谢谢
浏览 26
提问于2019-12-24
得票数 1
1
回答
通过AWS Glue Python脚本连接到Postgres
我已经在AWS Glue中建立了一个
RDS
连接,并验证了我可以连接到我的
RDS
。另外,在创建Python作业时,我可以看到我的连接,并将它添加到脚本中。
浏览 0
提问于2019-05-03
得票数 4
回答已采纳
2
回答
如何编写
ETL
作业以将mysql
数据库
表传输到另一个mysql
rds
数据库
、
、
我想使用AWS Glue编写
ETL
脚本,将数据从一个mysql
数据库
传输到另一个
RDS
mysql
数据库
。谢谢
浏览 0
提问于2020-01-02
得票数 0
1
回答
如何处理Redshift中缓慢变化的维度类型2?
、
joe1 2015-01-01 2015-01-15 No我的源数据来自
RDS
我正在考虑如何处理这个问题的几个选择:2)执行
ETL
过程,每隔5分钟查询一次用户源表,查找新的更改(按最后一个updated_at排序)并将其转储到DynamoDB。3)让一个
ETL
浏览 3
提问于2015-12-16
得票数 7
1
回答
无法在amazon上为postgres创建架构
、
、
问题是我没有在
RDS
上创建架构的权限。有办法用
RDS
创建模式吗?谢谢
浏览 0
提问于2017-06-13
得票数 1
回答已采纳
1
回答
对
RDS
使用Sequelize获取TimeoutError: ResourceRequest超时
、
、
我有一个使用将数据加载到amazon
RDS
PostgreSQL实例中的node.js
ETL
系统。突然之间,我开始在向
数据库
中插入记录时看到随机的超时错误: at ResourceRequest._fireTimeout (/home/ubuntu/myproject/
etl
/node_modules/generic-pool/lib/ResourceR
浏览 112
提问于2019-10-25
得票数 2
1
回答
AWS胶水在顺序运行时输出空文件
、
、
我正在尝试自动化
ETL
管道,将数据从AWS
RDS
MYSQL输出到AWS S3。我目前正在使用AWS Glue来完成这项工作。当我执行从
RDS
到S3的初始加载时。但是,当我向MYSQL
数据库
添加新数据并再次运行Glue作业时。我得到一个空文件,而不是添加的行。任何帮助都将不胜感激。
浏览 16
提问于2021-02-11
得票数 1
2
回答
将数据从AWS雅典娜导入到
RDS
实例
、
、
、
是否有一种方法可以将数据导入
RDS
实例,可能需要进行某种转换?
浏览 1
提问于2018-04-29
得票数 4
回答已采纳
2
回答
AWS Glue
ETL
:将数据传输到S3桶
、
、
我希望使用AWS将像MySQLRDS这样的
数据库
中的数据传输到S3。我很难做到这一点,文档确实不太好。但是,如果一个人制造了一个
ETL
工具,那么AWS的首要基础之一就是将数据传送到和从S3存储桶( AWS上的主要存储形式)。 希望有人能帮上忙。
浏览 0
提问于2019-08-11
得票数 2
1
回答
创建AWS Postgres
RDS
模式的一致视图?
、
、
我有一个AWS
RDS
postgres从另一个
RDS
实例中读取副本。我希望对特定模式中的所有表有一个一致的视图,这样我就可以查询它们以达到
ETL
的目的。现在我们正在使用生产
数据库
的快照,恢复它们并从那里流,但是保存快照需要很长时间,因为从快照
数据库
加载和读取的性能非常差。
浏览 1
提问于2016-06-06
得票数 0
回答已采纳
3
回答
从亚马逊网络服务DataLake到远程数据服务
、
、
、
、
需要将存储在datalake中的部分数据转换为
RDS
,以便应用程序读取数据。从S3 DataLake到
RDS
的
ETL
的最佳解决方案是什么?我见过的大多数帖子都谈到了从
RDS
到S3的
ETL
,而不是反过来。
浏览 6
提问于2019-11-08
得票数 1
2
回答
如何在批量过程中使用AWS/
RDS
切换
数据库
并避免宕机?
、
、
、
对于我们的内部使用,我们在EC2实例上有一个web应用程序,它从
RDS
/Postgres
数据库
读取(不写入)数据。在一天的部分时间内,为该
数据库
生成新数据(运行约2小时的批处理),并将数据直接写入同一
数据库
,这当然会导致应用程序停机(~ 2小时),直到完全写入数据为止。在AWS/EC2/
RDS
上,如果在批处理过程中发生任何错误时,能够回滚到以前的版本,当然也不会切换到新版本,那么管理这样的情况会是一个好的做法吗?
浏览 3
提问于2019-06-08
得票数 0
1
回答
将数据从Kinesis (或s3)传输到
RDS
postgres chron作业
、
、
、
、
我对AWS非常陌生,我正试图找到一种方法,将数据从Kinesis流可靠地传输到AWS
RDS
postgres
数据库
表。我有点迷失在很多可能的方法中,比如: S3 ->
RDS
的
数据库
迁移?在一个没有服务器的世界中,我每运行一次chron作业,比如说,每一个小时就运行一次,这将在最近的S3桶分区(即年/
浏览 1
提问于2018-10-17
得票数 5
回答已采纳
2
回答
使用AWS Glue从S3 ->
RDS
移动数据
、
、
、
AWS Glue是否提供将数据从S3存储桶移动到
RDS
数据库
的能力? 我正在尝试设置无服务器应用程序,它可以拾取上传到S3的动态数据,并将其迁移到关系
数据库
。 Glue提供了爬虫服务来确定模式。Glue还提供了
ETL
Job,但目标源似乎只是另一个S3存储桶。 有什么想法吗?
浏览 35
提问于2019-03-11
得票数 4
1
回答
RDS
Postgres to Kinesis数据流,用于通过AWS glue实时加载数据
、
、
要求是实时地将数据从
RDS
POSTGRES加载到
RDS
oracle。 AWS Glue是
ETL
工具。AWS Glue具有实时从Kinesis获取数据以进行流式传输的功能。
浏览 0
提问于2021-01-19
得票数 0
1
回答
是否可以设置从多个其他
RDS
主实例进行复制的
RDS
实例?
、
、
假设我有三个
RDS
实例A、B、C,每个实例上都有一个模式。我喜欢创建一个A.b模式,它是实例B上主模式的复制从模式,然后是一个A.c模式,它是实例C上主模式的复制从模式。这在
RDS
中是可行的吗?实际情况是,我的应用程序
数据库
是A上的主实例,然后我在实例B和C上还有另外两种类型的应用程序。在
ETL
到数据仓库的过程中,我需要连接这三个表中的一些表。虽然我现在不在
RDS
/MySQL上,但我真的很喜欢。但我不知道我是否能做我上面说过的事情。
浏览 11
提问于2019-01-21
得票数 0
2
回答
如何自动化
ETL
作业的部署和运行?
、
、
、
、
我们有
ETL
作业,即java jar(执行
etl
操作)是通过shell脚本运行的。根据正在运行的作业,使用一些参数传递shell脚本。在shell脚本运行之前,有时还需要在posgresql
RDS
DB上运行一些sql命令/脚本。我们在亚马逊网络服务上拥有一切,即Ec2 talend服务器,Postgresql
RDS
,Redshift,ansible等。我们如何自动化这个过程?如何部署和处理传递自定义参数等。欢迎使用指针。
浏览 5
提问于2018-06-28
得票数 2
1
回答
星火如何处理与时间相关的JDBC数据?
、
、
、
我正试图通过每天的
ETL
作业将S3上的Spark
数据库
与旧的Oracle
数据库
同步。我正试图理解,当Spark连接到像Oracle这样的
RDS
以获取数据时,它会做什么。它是否只获取在斯帕克向
数据库
提出请求时(即,如果它在2/2 17:00:00从Oracle DB获取数据时,它只会抓取到那个时间点的数据)?
浏览 5
提问于2017-02-03
得票数 1
回答已采纳
1
回答
AWS
RDS
-让我访问BI/DW系统的最佳方式是什么
、
、
我们已经与一家公司合作,从我们的事务系统(AWS
RDS
Sql Server)为我们构建一个BI/数据仓库解决方案。通过VPC和安全组授予我们
数据库
的只读访问权限的最佳方式是什么,这些VPC和安全组提供了最佳的安全配置文件,同时仍然保持良好的连接性能,以使
ETL
作业能够运行? 请注意,BI端正在Azure中运行。
浏览 14
提问于2017-01-27
得票数 0
回答已采纳
1
回答
AWS胶回滚策略
我正在做从甲骨文
RDS
到s3的
ETL
。如果我正在运行我的
ETL
脚本,它正在将一些数据转储到s3中,并且中断了一些东西,我如何回滚我的整个脚本呢?是否有任何回滚策略或配置aws胶提供?
浏览 1
提问于2017-11-29
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
RDS数据库优化设计系统
Redis的KEYS 命令引起 RDS 数据库雪崩
Redis的KEYS 命令引起 RDS 数据库雪崩,RDS 发生两次宕机,又要背锅鸟
Redis的KEYS 命令引起 RDS 数据库雪崩,造成几百万损失
黑客论坛被黑,竞争对手公开其数据库;Linux 内核曝出 RDS 漏洞
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券