文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

数据仓库设计规范

以下是常用的数据仓库术语，请按照需求创建schema名字，其中DWH与DWE不是数据仓库的术语 名词 名词简称 名词解释 Data Warehouse DW 数据仓库主体 Operational Data...Data Warehouse Detail DWD 数据源的细节层,有的也称为ODS层,是业务层与数据仓库的隔离层,在该层可以把业务表分的更细 Data Warehouse Base DWB 数据仓库基础数据层...Enterprise Data Warehouse EDW 作为企业唯一的数据仓库,EDW提供统一的数据服务,查询结果有效一致。数据设计支持跨部门,支持海量数据,并支持大量的查询请求。...Data Mart DM 和EDW类似,但更专注于部门级别而不是公司级别的统一数据服务。...提供EDW不能提供的，针对部门的特殊数据服务需求 BI/Analytic Database BID/AD 为商业智能和分析而优化的数据处理技术。包括数据清理,ETL,数据挖掘等。

2.2K00

ODS与EDW的区别「建议收藏」

ODS在数据仓库中是可选择的一部分，但不是必须的。 EDW全称为Enterprise Data Warehouse，即企业级数据仓库，属于分析型数据。...C表示数据进行到EDW中。...ODS是可变数据，可以进行增删查改，是介于DB与DW的一种数据存储形态，目的是为了数据仓库的处理和决策系统要求与OLTP系统相隔离，减少决策系统对OLTP系统的性能影响。...EDW主要面向专业分析人员、辅助决策支持人员等，为了实现基于历史数据的统计分析和数据挖掘，以获得客户深层次的特征和市场发展的规律，例如专业分析人员的经营状况趋势分析由EDW提供支撑。...EDW关注对历史数据的深层次分析与挖掘．从分析与挖掘的需要出发按不同主题维度来汇总与组织数据。 EDW提供历史数据的展示和分析，主要提供多层粗粒度汇总数据．汇总的维度多且复杂。

1.8K20
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    维度模型数据仓库（二） —— 维度模型基础

    （一）维度模型基础         既然维度模型是数据仓库建设中的一种数据建模方法，那不妨先看一下几种主流的数据仓库架构。         1....Kimball和Inmon架构最大的区别就是是否需要一个企业级的数据仓库（EDW）。Inmon架构中有EDW，Kimball架构中没有。...EDW本质上就是一个大的数据仓库，包括了从企业各个数据源集成过来的所有的历史数据。EDW不能由终端用户直接访问，仅用来存储和报表相关的，用于审计的各种历史数据。...Inmon认为EDW位于业务系统和数据集市之间，也是数据集市的唯一数据来源。至于混合型架构则是结合了Kimball与Inmon架构的产物。        ...以上这些方法论的东西简单描述了几种数据仓库总体架构的异同之处。除了架构层面，还有两种主要的建模方法，即规范化模型和维度模型。规范化模型用于EDW建模，而维度模型用于数据集市建模。

    1.6K20

    数据仓库设计规范

    Data Warehouse Detail DWD 数据源的细节层,有的也称为ODS层,是业务层与数据仓库的隔离层,在该层可以把业务表分的更细 Data Warehouse Base DWB 数据仓库基础数据层...Data Warehouse History DWH 该层不在数据仓库设计的范围之内,按照业务新增的数据层,主要储存历史数据。...Enterprise Data Warehouse EDW 作为企业唯一的数据仓库,EDW提供统一的数据服务,查询结果有效一致。数据设计支持跨部门,支持海量数据,并支持大量的查询请求。...Data Mart DM 和EDW类似,但更专注于部门级别而不是公司级别的统一数据服务。...提供EDW不能提供的，针对部门的特殊数据服务需求 BI/Analytic Database BID/AD 为商业智能和分析而优化的数据处理技术。包括数据清理,ETL,数据挖掘等。

    81210

    大数据时代，传统数据仓库技术是否已经过时？

    传统数据仓库由源系统、ODS、EDW、Data Mart这几部分组成，源系统就是业务系统、生产系统，ODS是操作数据存储，EDW是企业级数据仓库，Data Mart是数据集市。...EDW介绍 EDW也就是企业级数据仓库，以下是它的一些特点。 面向主题：操作型数据库的数据组织面向事物处理任务，各个业务系统 之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。...无论是传统的的数据仓库还是大数据时代的数据仓库，EDW提供的功能并无太多差异。主要还是随机查询、固定报表以及数据挖掘，一般大数据层面更多的是偏向数据挖掘。...在EDW中计算的结果最终被存到DW中，然后由DW做展示或者可视化。...EDW设计 既然谈到数据仓库设计，那么就要先回到传统层面——基于Oracle的数据仓库。

    1.9K30

    大数据时代，传统数据仓库技术是否已经过时？

    一、传统数据仓库技术介绍 ? 传统的数据仓库架构一般有由源系统、ODS、EDW、Data Mart几部分组成。...源系统就是业务系统、管理系统、办公系统等等；ODS是操作数据存储；EDW是企业级数据仓库，Data Mart是数据集市。...3、EDW介绍 EDW有如下特点： 面向主题：各个源系统之间在物理上往往是分离的，数据也是按照源系统服务的业务/流程进行组织，而数据仓库中的数据是按照一定的主题域进行组织的。...无论是传统的的数据仓库还是大数据时代的数据仓库，EDW提供的功能并无太多差异。主要还是随机查询、固定报表以及数据挖掘，一般大数据层面更多的是偏向数据挖掘。...3、EDW设计 数据仓库的选择在PostgreSQL、Greenplum和Hadoop中展开。对于在线交易系统选择的肯定是PostgreSQL，而对于真正的数据仓库就应该选择Greenplum。

    3.1K30

    Greenplum数据库使用总结(干货满满)--

    OLAP（On-Line Analytical Processing，联机分析处理）是基于数据仓库的信息分析处理过程，是数据仓库的用户接口部分。...2.4 数据仓库设计规则 2.4.1 数据仓库概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。...Enterprise Data Warehouse EDW 作为企业唯一的数据仓库,EDW提供统一的数据服务,查询结果有效一致。数据设计支持跨部门,支持海量数据,并支持大量的查询请求。...Data Mart DM 和EDW类似,但更专注于部门级别而不是公司级别的统一数据服务。...提供EDW不能提供的，针对部门的特殊数据服务需求 BI/Analytic Database BID/AD 为商业智能和分析而优化的数据处理技术。包括数据清理,ETL,数据挖掘等。

    9.4K21

    Hortonworks联合Jethro扩充其数据仓库解决方案

    1.简介 ---- 企业数据仓库(EDW)存储着企业大量重要的数据，是关键业务分析的基础。...于是Hortonworks今天很高兴宣布与Jethro达成战略合作伙伴关系，从而扩充优化EDW的解决方案，帮助客户解决企业大数据仓库的规模和性能问题。...传统的EDW一般只能服务有限的用户或者应用，但大数据EDW可以服务更多的用户，比如可以从数据科学家到品牌营销经理。...Hortonworks的EDW解决方案 ---- Hortonworks的EDW解决方案结合了HDP，Synsort和Jethro Data，包含附带的服务，以此来解决大数据EDW带来的挑战和问题。...Hortonworks的EDW解决方案提供了一个完整的集成解决方案，来解决大数据EDW带来的挑战和问题。

    1.1K80

    【御数之旅-1】去米国帝都，逛数据世界，约么？

    此活动由御数坊创始人刘晨，亲临美国企业数据世界EDW2015大会现场，为您报道大数据最不应却又最容易被忽略的内容，大数据文摘和御数坊同步为您传递......盼的还真是有点多：盼着出趟国，去米国帝都；盼着去淘宝，淘御数之宝；盼着去过节，过咱们数据人的洋节——EDW2015。...这个EDW不是企业数据仓库的EDW，而是一年一度的Enterprise Data World企业数据世界！...据不完全统计，胡Core的演讲是EDW上第一次中国好声音！期待有越来越多的中国企业和从业者来到这个舞台！...著名的数据仓库之父Bill Inmon，本次演讲主题：商业智能和数据仓库架构——结构化与非结构化世界的集成 Architecting for Business Intelligence andData

    77060

    ETL(一)：(详细步骤)使用ETL将源数据抽取到EDW层

    4、创建edw用户和test1文件夹； 1）创建一个edw用户，用户存放数据转换、清洗后的数据； ① 登陆系统用户system，该用户拥有数据库最高权限； ② 创建edw用户； 注意：这里只讲述怎么在...为了数据能够保持其原有状态，不损坏原始数据，我们相当于复制了一份数据放在了ODS层，该层数据才是用于我们做ETL开发的数据； EDW层是数据仓库层，用于存放我们进行数据转换、清洗过后的数据； DW层是数据集市层...或者你可以不点击3，4，直接点击“生成并执行”即可； ⑧ 此时，在edw用户中可以查看edw_emp表，但是只有表结构，没有数据； 3） 创建映射 ① 创建一个映射，命名为m_ora_edw_emp...创建映射(Mapping)的时候，命名是“m_ora_edw_emp”； 定义任务(Session)的时候，命名是“s_ora_edw_emp”； 创建工作流(Workflow)的时候，命名是“w_ora_edw_emp...”； 解释：英文字母首字母作为前缀，m表示创建的是一个映射；s表示创建的是一个任务；w表示创建的是一个工作流；ora_edw_emp表示把oraacle最为源数据库，将该数据库中的emp表抽取、转换到edw

    1.5K10

    大规模SQL分析：为正确的工作选择正确的SQL引擎

    CDP上的CDW是一项新服务，使您能够为商业智能（BI）分析师团队创建自助数据仓库。您可以快速配置新的数据仓库，并与特定团队或部门共享任何数据集。您还记得何时可以自行设置数据仓库吗？...Hive LLAP专为大数据而构建，为用户提供了高度可扩展的企业数据仓库（EDW），该数据库支持繁重的转换，长期运行的查询或蛮力风格的SQL（具有数百个联接）。...因此，Hive LLAP非常适合作为企业数据仓库（EDW）解决方案，在该解决方案中，我们将遇到许多需要长时间进行的长时间运行的查询，这些查询需要进行大量转换，或者在海量数据集的表之间进行多次联接。...由于您可以在CDP的CDW中混合和匹配相同的数据，因此您可以根据工作负载类型为每个工作负载选择合适的引擎，例如数据工程，传统EDW，临时分析，BI仪表板，在线分析处理（OLAP）或在线交易处理（OLTP...总结 如果您正在运行支持BI仪表板的EDW，则Hive LLAP将为您带来最佳效果。当您需要临时的、自助式和探索性数据集市时，请查看Impala的优势。

    1.8K20

    SAP HANA是否取代BW？

    报告S / 4HANA尚不能提供的报告就像合并库存报告一样 分析BW中的内容以及S / 4HANA可以做什么，您将发现在大多数情况下关闭SAP BW本身就是一个项目，而关闭SAP BW意味着您需要另一个数据仓库...这是很重要的，因为某些报告（例如COPA）最好在源系统上实时完成，而另一些报告仍需要数据仓库中的数据持久性，因为转换极其复杂且过于昂贵，无法在运行时运行。将来（我不为SAP工作，所以不能承诺时间表！）...我真的可以使用SAP BW作为主要数据仓库吗？ 多年来，BW一直表现不佳，许多客户拥有多样化的数据仓库策略，包括Teradata，Netezza，DB和Oracle等。...除了BW的大数据功能外，NLS功能（也包含在S / 4HANA运行时许可证中）和HANA的功能，以及HANA设备的尺寸增加和成本降低，以及HANA设备的灵活性提高HANA量身定制的数据集成和BW是主要EDW...它将减少运营报告数据的持久性，将这些计算推到HANA源系统，并充当非SAP，非结构化和传感器数据的真正合并的EDW。 如果您愿意，SAP BW将实现其最初的目的，而不是成为一个荣耀的运营数据集市。

    1.7K20

    三个例子，让你看懂数据仓库多维数据模型的设计

    一、概述 　　多维数据模型是最流行的数据仓库的数据模型，多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式，本文以实例方式展示三者的模式和区别。...四、事实星座模式（Fact Constellation）或星系模式（galaxy schema） 　　数据仓库由多个主题构成，包含多个事实表，而维表是公共的，可以共享，这种模式可以看做星型模式的汇集，因而称作星系模式或者事实星座模式...五、总结 　　事实星座模式是数据仓库最长使用的数据模式，尤其是企业级数据仓库（EDW）。...这也是数据仓库区别于数据集市的一个典型的特征，从根本上而言，数据仓库数据模型的模式更多是为了避免冗余和数据复用，套用现成的模式，是设计数据仓库最合理的选择。...当然大数据技术体系下，数据仓库数据模型的设计，还是一个盲点，探索中。

    3.2K20

    浅谈数仓建模及其方法论

    3.数据仓库阶段：这个阶段，主要是按照一定的数据模型，对整个企业的数据进行采集，整理，并且能够按照各个业务部门的需要，提供跨部门的，完全一致的业务报表数据，能够通过数据仓库生成对对业务具有指导性的数据，...通过数据仓库建设的发展阶段，我们能够看出，数据仓库的建设和数据集市的建设的重要区别就在于数据模型的支持。因此，数据模型的建设，对于我们数据仓库的建设，有着决定性的意义。...具体建模方法论 1.范式建模法 是Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。...操作型或事务型系统的数据源，通过ETL抽取转换和加载到数据仓库的ODS层，然后通过ODS的数据建设原子数据的数据仓库EDW，EDW不是多维格式的，不方便上层应用做数据分析，所以需要通过汇总建设成多维格式的数据集市层...在复合式的数据仓库架构中，操作型或事务型系统的数据源，通过ETL抽取转换和加载到数据仓库的ODS层，然后通过ODS的数据，利用范式建模方法，建设原子数据的数据仓库EDW，然后基于EDW，利用维度建模方法建设数据集市

    2.3K10

    终于有人把数据仓库讲明白了！

    这些不同来源的数据，为数据仓库提供了丰富的信息素材。2.ETL 流程ETL 流程是数据仓库建设的核心环节，其质量直接决定了数据仓库的成败。...（2）企业级数据仓库 (EDW)：作为数据仓库的核心存储部分，通过FineDataLink实现高度集成，借助DAG+低代码开发模式高效搭建企业级数仓，面向企业全局主题，通过数据仓库的调度配置，可以实现数据的更新同步...（3）数据集市 (Data Mart)：针对特定部门或主题构建的数据子集，数据通常源自 EDW，其结构更聚焦于特定业务需求，方便部门进行数据分析。...2.双层架构 (源 -> 数据仓库)在数据源和用户访问层之间加入了数据仓库层，通过 ETL 过程将数据直接加载到数据仓库。这种架构清晰地分离了操作型系统与分析系统，在数据仓库发展早期较为流行。...数据集市基于 EDW 构建，针对特定部门或主题进行结构优化，查询速度更快，用户也更容易理解和使用。

    58510

    数据仓库①：数据仓库概述

    ~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现，因为关系数据库最少也要求满足第1范式，而数据仓库里的关系表可以不满足第1范式。...有了这些数据快照以后，用户便可将其汇总，生成各历史阶段的数据分析报告； 数据仓库组件 数据仓库的核心组件有四个：各源数据库，ETL，数据仓库，前端应用。如下图所示： ? 1....前端应用 和操作型数据库一样，数据仓库通常提供具有直接访问数据仓库功能的前端应用，这些应用也被称为BI(商务智能)应用； 数据集市(data mart) 数据集市可以理解为是一种"小型数据仓库"，它只包含单个主题...当用户或者应用程序不需要/不必要不允许用到整个数据仓库的数据时，非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。...数据仓库开发流程 在数据库系列的第五篇 中，曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似，因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程： ?

    4.4K72

    数据架构“变形记”：从孤岛林立到智能协同

    早期的数据架构ODS、 EDW 和 Data Marts 在早期，为了满足决策支持系统的需求，操作型数据存储（ODS, Operational Data Store）被开发出来，主要服务于需要预定义报表的用户群体...随着企业对跨部门、跨系统综合分析的需求不断增长，企业级数据仓库（Enterprise Data Warehouse, EDW）应运而生。...EDW），以支持报告生成和执行仪表盘展示。...数据湖架构 企业数据仓库（EDW）和数据集市主要处理结构化的企业数据，无法直接支持半结构化（如JSON、XML等）和非结构化数据（如文本、文档、图像、视频、音频等）的存储与分析。...尽管其目标与EDW或数据集市类似，但数据湖特别适用于处理半结构化和非结构化数据，并且更常部署于云基础设施之上（如AWS S3、Azure Blob Storage或Google Cloud Storage

    44510

    Shark，Spark SQL，Spark上的Hive以及Apache Spark上的SQL的未来

    为了以交互方式运行查询，组织部署昂贵，专有的企业数据仓库（EDW）和刚性、冗长的ETL管道。 Hive和EDW之间性能的鲜明对比导致了业界的巨大争论，质疑了一般数据处理引擎的查询处理的固有缺陷。...许多人认为SQL的交互性需要（即EDW）构建的昂贵的专用运行时为其的查询处理。Shark成为Hadoop系统中第一个交互式SQL，是唯一一个基于一般运行时（Spark）构建的。...它表明，Hive缓慢的缺陷是根本的，一个通用引擎，如Spark可以结合两个世界的最好的引擎：它可以和EDW一样快，以及和Hive / MapReduce一样优秀。 你为什么要关心这个看似学术的辩论？...对于Spark用户，Spark SQL成为操纵（半）结构化数据的力量，以及从提供结构的源（如JSON，Parquet，Hive或EDW）中提取数据。

    2.1K20
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券