我在MariaDB中有多个数据库,我正在尝试设置一个自动化任务,该任务将从一个数据库/方案获取数据,并将其插入到另一个数据库/方案,并进行一些转换。
为此,我有一个具有以下特权(除其他外)和角色的用户esttfy:
GRANT USAGE ON *.* TO "utl_logging";
GRANT SELECT, INSERT ON "utl"."event_log" TO "utl_logging";
GRANT EXECUTE ON PACKAGE "utl"."pkg_log" TO
如何提高此查询的性能?
INSERT INTO ABC(TRACKING_ID,GROUP_ID,ETL_NUM,ENTITY_ID,UNI_ID,DOS_TO)
SELECT A.TID,A.TID2,A.ETL_NUM,A.ENTITY_ID,A.UNI_ID,A.DOS_TO
FROM #TEMP A(NOLOCK)
LEFT OUTER JOIN #TEMP B(NOLOCK) ON A.TID=B.TID
AND ETL_NUM<B.ETL_NUM
WHERE B.TID IS NULL
我有1100万张唱片。处理此查询需要9个小时。为了调优这个查询,我在临时表ETL_NUM上
我正在尝试从VM导入Postgres数据库,并使用Neo4j来可视化图形。对于这样一个数据库的示例,我能够使用ETL工具加载数据,并使用Neo4j桌面在我本地的Windows机上运行它。 但是,当我尝试从VM (Centos)加载数据库时,我无法从ETL加载它。它给出了这个错误: Connection failed. SQL state: 08001, message: Connection to localhost:7687 refused. Check that the hostname and port are correct and that the postmaster is ac
我已经用了一段时间了。我只有一个关于ETL基础设施的基本问题。我需要在远程EC2实例上运行作业,以便从多个数据库提取数据。我需要有一台机器,能够做到这一点在EC2。这个ETL Ec2将只作为流程点,存储在另一个host.Now中,我需要知道我应该在亚马逊中使用哪个实例。
These ETL jobs will just have select query and just put in the table output.
No complex transformation and no sorting.
Are the ETL processes CPU intensive or memory