腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何制作高层
设计
文档
ETL
、
如果有人能在
设计
ETL
时分享他们的经验,我将非常感激。请有人帮助我,我们在
设计
时要注意的是什么。
浏览 0
提问于2018-04-24
得票数 0
回答已采纳
2
回答
使用相同的应用程序访问数据并运行作业,这是一个好做法吗?
、
、
、
、
我有一个用于访问和获取MongoDB数据库的spring引导应用程序,该应用程序还使用一个JobRuner解决方案来运行一些
ETL
作业并将其结果写入同一个Mongodb数据库中,此外,该应用程序还公开了一些要由其他应用程序使用的
浏览 5
提问于2022-09-29
得票数 -3
回答已采纳
4
回答
使用AWS执行按需
ETL
、
、
、
、
我想使用AWS
架构
执行按需
ETL
作业。 这个
ETL
进程将每天运行,我不想一直为一个EC2实例付费。例如,这个
ETL
作业可以用python编写。运行简单的按需
ETL
作业的最佳
架构
是什么?
浏览 2
提问于2015-10-06
得票数 0
2
回答
系统
架构
-
ETL
、
、
、
我们正在
设计
一个
ETL
流程,我们将从客户端获得一个每日帐户文件(可能有50万条记录,可能会增长),然后将该文件加载到我们的数据库中。如果kafka是可行的,或者我们只是过度杀死了一个简单的
ETL
过程,我们只需将数据加载到一个临时表,最后加载到目标表,我将非常感谢您的反馈。
浏览 6
提问于2020-03-13
得票数 0
3
回答
优化OBIEE生成的SELECT查询
、
、
、
、
我们将Oracle 11g上的数据集市/仓库实施为星型
架构
。业务报告是使用OBIEE
设计
的。我有
ETL
背景,对OBIEE几乎一无所知。
设计
好OBIEE RPD之后,我看到OBIEE开始在后台生成SELECT查询,以便将数据提供给报告。当报告性能不佳时,OBIEE查询将被发送到
ETL
团队进行性能调优。我对如何调优它们感到困惑,因为它们是自动生成的。
浏览 2
提问于2016-03-17
得票数 3
5
回答
测试
ETL
和数据仓库应用程序的实际策略是什么?
、
对于如何成功地测试大型
ETL
或数据仓库应用程序,有人有什么建议要分享吗?数据质量确保
ETL
应用程序正确拒绝、替换默认值、更正或忽略并报告无效数据。集成测试确保
ETL
流程与其他上游和下游流程一起运行良好。 用户验收测试。确保解决方案满足用户当前的期
浏览 0
提问于2011-05-04
得票数 8
回答已采纳
1
回答
分区切换与模式传输
、
、
、
、
我正在
设计
一个数据库,它的数据将每天由
ETL
生成。经过一些研究,我发现可以使用分区切换或模式转移来最大化“活动”数据的正常运行时间。所以在我的
设计
中有两种模式:[AppShadow]:包含与[App]模式完全相同的表(但w/外键),通常为空表,用作D6的目标。我的流程是这样的:使用[AppShadow]
浏览 0
提问于2021-03-01
得票数 0
回答已采纳
2
回答
BigQuery到Hadoop集群-如何传输数据?
、
、
、
、
我想围绕python应用程序构建一个类似于
ETL
流程的东西。例如,我每天都运行
etl
进程,该进程运行python应用程序并将数据导出到集群。最终,这个
ETL
过程应该放在Jenkins上,并且应该能够在生产系统上运行。我该怎么做,有什么建议吗?
浏览 1
提问于2015-01-14
得票数 2
2
回答
数据仓库-构建
ETL
模板
、
、
想出一个
ETL
模板需要多长时间?我们正在构建一个sql server 2012数据仓库。我们正处于获得项目计划的阶段,我们对数据仓库周期非常陌生。任何帮助都将不胜感激。
浏览 1
提问于2014-03-19
得票数 0
回答已采纳
1
回答
从一个OLTP系统到另一个OLTP系统的
ETL
的最佳实践是什么,第2部分?
、
、
好的,我最初提出了一个问题,一种叫做“从一个OLTP系统到另一个OLTP系统的
ETL
数据的最佳实践是什么?”的方法。你可能会从我的大部分问题中看出,他们必须面对
ETL
。尽管如此,我可能会在与
架构
师和其他关键涉众一起进行高层
设计
评审时使用自定义Java代码。现在我来谈谈
ETL
过程的详细
设计
。我想知道的是,在目标数据库中插入/更新数据的最佳方法是什么?由于我需要为
ETL
获取密钥映射数据库的目标DB记录键,所以我不确定第二个选择是最好的选择吗? 有什么想法吗?指导方
浏览 0
提问于2011-05-09
得票数 2
回答已采纳
1
回答
选择合适的工具替换IBM DataStage
ETL
工具
它是一个完整的
ETL
架构
的前提.如果需要用microsoft平台(SSIS或Azure数据工厂)替换(数据),那么可以使用SSIS工具替换哪些选项。备选方案: 如果选择SSIS工具,则需要将所有数据存储凭证(带有
ETL
转换)重写到SSIS,然后SSIS可以通过Azure数据工厂运行。可以重写Azure数据工厂中的所有
ETL
数据传输作业/脚本,如果推荐使用它,因为Azure数据工厂是编制工具,主要用于数据驱动的移动。Azure数据工厂不是传统的
ETL
工具。如果有人可以通过一些灯光关于DataSta
浏览 2
提问于2020-02-09
得票数 1
1
回答
查询从120多个表中拉取12-15 GB数据
、
、
、
我有一个从几乎125个不同的表中提取数据的查询,我创建了大约13个嵌套的存储过程,调用其他存储过程来提取所有需要的数据。令人惊讶的是,查询需要很长时间才能执行,有时我不得不终止连接并重新运行它。有什么建议吗?有什么想法可以让这个地狱般的任务更简单,更快,更不容易出错吗?
浏览 2
提问于2013-09-29
得票数 0
1
回答
无法在amazon上为postgres创建
架构
、
、
该
架构
将用于从构建在本地db上的现有
架构
导入数据。问题: 有办法用RDS创建模式吗?
浏览 0
提问于2017-06-13
得票数 1
回答已采纳
3
回答
赞成使用ELT过程而不是
ETL
的论点是什么?
、
、
我意识到,我的公司使用ELT (提取-负载转换)进程,而不是使用
ETL
(提取-转换-加载)进程。 这两种方法有什么不同,在哪一种情况下比另一种“更好”?如果你能提供一些例子,那就太好了。
浏览 0
提问于2012-06-14
得票数 25
回答已采纳
1
回答
Hadoop会取代
ETL
吗?
、
、
、
、
然后利用Informatica、Telend等
ETL
工具对Datamart/datawarehouse的事实表和维度表进行增量加载。所有连接都发生在数据库层(
ETL
将查询推入DB)这种
架构
的优点和缺点是什么?
浏览 2
提问于2017-07-11
得票数 0
回答已采纳
1
回答
SSIS
ETL
设计
、
、
、
SSIS
ETL
设计
One主表,用于跟踪数据拉出和状态表名- JobStatus表名- JobDetailsStartTime,EndTime,StatusErrorLogid,ErrorDesc,Time,评论每当作业失败时,作业详细信息表将有助于确定哪个是最后一个错误的表,
ETL
与此示例相关的任何与
ETL</
浏览 1
提问于2011-07-18
得票数 0
回答已采纳
2
回答
Spark能否取代
ETL
工具
、
、
、
、
然后使用Informatica、Telend等
ETL
工具对数据仓库/数据仓库的事实表和维度表进行增量加载。所有的连接都发生在数据库层(
ETL
将查询推到数据库中)- Spark可以取代
ETL
工具并进行相同的处理并将数据加载到Redshift中吗?-这种
架构
的优点和缺点是什么?
浏览 1
提问于2016-11-26
得票数 10
1
回答
将现有
ETL
转换为Azure
、
、
假设我们有一个工作的
ETL
,不管它的类型是什么(SSI,ODI等),将这个现有的工作
ETL
转换到Azure的最佳选择是什么?
浏览 31
提问于2019-03-19
得票数 0
2
回答
SSIS使用单个DFT的多个表加载
、
我是SSIS的新手。我正在尝试将多个源表从我的临时数据库加载到数据仓库中相应的目标表。所有源表都有不同的列数。我有100个SSIS包的100个源表和100个目标表。我想让单一的SSIS包来加载所有的100个表使用单一的DFT。我有一个包含源表和目标表名的列表的电影演员表,输入的将是文件名,在文件名的基础上,我的DFT将获取源表和目标表,并在运行时使用变量动态改变源表和目标表。请对上述问题提出一些建议,Vipin Jha
浏览 1
提问于2015-02-04
得票数 0
2
回答
如何构建一个分析性BI平台?
、
、
、
、
Vertica是否适合
ETL
场景? 这类场景的典型
架构
是怎样的?
浏览 0
提问于2014-08-31
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据平台架构+ETL
为什么NoSQL需要无架构的ETL工具?
Lambda架构已死,去ETL化的IOTA才是未来
架构设计-架构设计原则
【企业架构】如何设计企业架构
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券