腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >数据维度更替？

问数据维度更替？

提问于 2018-05-17 07:05:06

回答 4关注 0查看 208

自己的做的数据集怎么导入用cifar10的程序，如何能够代替，维度应该怎么设计呢？

程序

设计

数据

回答

成为首答用户。去写回答

数据建模-维度建模-维度设计

存储设计数据数据仓库数据建模

在Kimball维度建模中，通常将度量称为“事实”，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。维度和维度属性是维度的两个核心概念，如何构建维度的属性是维度设计中需要关注的。维度具有层次结构，维度中的一些描述属性以层次方式或一对多方式相互关联。比如商品维度，有卖家、类目、品牌等父层次。对于层次结构，是采用雪花模式进行规范化处理还是将维度的属性层次合并到单个维度中进行反规范化处理，需要进行取舍。

大数据学习与分享

2023/09/06

6730

维度模型数据仓库（十一） —— 维度层次

date kettle monitor product storage

（五）进阶技术 6. 维度层次大多数维度都具有一个或多个层次。例如，日期维度就有一个四级层次：年、季度、月和日。这些级别用date_dim表里的列来表示。日期维度是一个单路径层次，因为除了年-季度-月-日这条路径外，它没有任何其它层次。本篇将讨论在维度的层次上进行分组和钻取查询。多路径层次在下一篇“多路径和参差不齐的层次”中讨论。为了识别数据仓库里一个维度的层次，首先要理解维度中列的含义。然后就可以识别两个或多个列具有相同的主题。例如，日、月、季度和年具有相同的主题因为它们都是关于日历的。具有相同主题的列形成一个组。组中的一列必须包含至少一个组内的其它成员。例如，在前面提到的组中，月包含日。这些列的链条形成了一个层次。例如，日-月-季度-年这个链条是一个日期维度的层次。除了日期维度，产品和客户维度也有层次。表（五）- 6-1显示了三个维度的层次。注意客户维度具有两个路径的层次。

用户1148526

2022/12/02

7080

维度模型数据仓库（十九） —— 维度合并

网络安全数据库云数据库 SQL Server sql

（五）进阶技术 14. 维度合并随着数据仓库中维度的增加，会发现有些通用的数据存在于多个维度中。例如，客户维度的客户邮编相关信息、送货邮编相关信息和工厂维度里都有邮编、城市和州。本篇说明如何把三个维度里的邮编相关信息合并到一个新的邮编维度。修改数据仓库模式为了合并维度，需要改变数据仓库模式。图（五）- 14-1显示了修改后的模式。新增了一个zip_code_dim表，sales_order_fact和production_fact表的结构也做了相应的修改。注意图中只显示了与邮编维度相关的表。

用户1148526

2022/06/14

6680

维度模型数据仓库（八） —— 维度子集

date null select state zip

（五）进阶技术 3. 维度子集有些需求不需要最细节的数据。例如更想要某个月而不是某天的记录。再比如相对于全部的销售数据，可能对某些特定状态的数据更感兴趣等。这些特定维度包含在从细节维度选择的行中，所以叫维度子集。维度子集比细节维度小，因此更易使用，查询也更快。本篇中将准备两个特定维度，它们均取自现有的维度：月份维度（日期维度的子集），Pennsylvania州客户维度（客户维度的子集）。清单（五）-3-1里的脚本用于建立月份维度，并从日期维度初始装载月份维度。注意月份维度不包含promo_ind列，该列不适用月层次上，因为一个月中可能有多个促销期。促销标记适用于日层次。

用户1148526

2022/12/02

4700

维度模型数据仓库（十三） —— 退化维度

数据库云数据库 SQL Server sql

（五）进阶技术 8. 退化维度本篇讨论一种称为退化维度的技术。该技术减少维度的数量，简化维度数据仓库的模式。简单的模式比复杂的更容易理解，也有更好的查询性能。当一个维度没有数据仓库需要的任何数据时就可以退化此维度。需要把退化维度的相关数据迁移到事实表中，然后删除退化的维度。退化订单维度本节说明如何退化订单维度，包括对数据仓库模式和定期装载脚本的修改。使用维度退化技术时你首先要做的识别数据，分析从来不用的数据列。例如，订单维度的order_number列就可能是这样的一列。但如果用户想看事务的细节，还需要订单号。因此，在退化订单维度前，要把订单号迁移到sales_order_fact表。图（五）- 8-1显示了迁移后的模式。

用户1148526

2022/12/02

4.9K0

维度模型数据仓库（十四） —— 杂项维度

网站大数据

（五）进阶技术 9. 杂项维度本篇讨论杂项维度。简单地说，杂项维度就是一种包含的数据具有很少可能值的维度。例如销售订单，它可能有很多离散数据（yes-no这种类型的值），如

用户1148526

2022/12/02

7300

维度模型数据仓库（二） —— 维度模型基础

数据库管理数据库 sql 存储

既然维度模型是数据仓库建设中的一种数据建模方法，那不妨先看一下几种主流的数据仓库架构。

用户1148526

2022/12/02

9920

维度模型数据仓库（二十一） —— 分段维度

alpha grid

（五）进阶技术 16. 分段维度本篇说明分段维度的实现技术。分段维度包含连续值的分段。例如，年度销售订单分段维度可能包含有叫做“低”、“中”、“高”的三档；各档定义分别为0.01到15000、15000.01到30000.00、30000.01到99999999.99。如果一个客户的年度销售订单金额为10000，则被归为“低”档。分段维度可以存储多个分段集合。例如，可能有一个用于促销分析的分段集合，另一个用于市场细分，可能还有一个用于销售区域计划。分段一般由用户定义，而且很少能从交易源数据直接获得。本篇要使用（五）进阶技术 10. 多重星型模式的开发经验实现分段维度。年度销售订单星型模式本节说明如何实现一个年度订单分段维度。你需要两个新的星型模式，如图（五）- 16-1所示。星型模式的事实表使用（关联到）已有的customer_dim和一个新的year_dim表。年维度是日期维度的子集。annual_customer_segment_fact是唯一用到annual_order_segment_dim表的表。annual_order_segement_dim是分段维度。

用户1148526

2022/06/14

3980

数据中台 - 数据质量维度

编程算法

在做数据中台-数据质量的过程中，通过调研方法论，可以对数据质量技术类校验类型划分6大维度，这些维度如下:

夹胡碰

2021/01/29

6200

维度模型数据仓库（九） —— 角色扮演维度

http 数据库 sql

（五）进阶技术 4. 角色扮演维度当一个事实表多次引用一个维度表时会用到角色扮演维度。例如，一个销售订单有一个是订单日期，还有一个交货日期，这时就需要引用日期维度表两次。本篇将说明两类角色扮演维度的实现，分别是表别名和数据库视图。这两种都使用了MySQL的功能。表别名是在SQL语句里引用维度表多次，每次引用都赋予维度表一个别名。而数据库视图，则是按照事实表需要引用维度表的次数，建立相同数量的视图。修改数据库模式使用清单（五）-4-1里的SQL脚本修改数据库模式。分别给数据仓库里的事实表sales_order_fact和源数据库中订单销售表sales_order增加request_delivery_date_sk和request_delivery_date列。图（五）- 4-1 显示了修改后的模式。

用户1148526

2022/12/02

5920

维度建模——数据仓库初步[通俗易懂]

数据库管理数据库 sql

本文是《维度建模》后续文章的基础。我们首先从宏观层面上考察数据仓库和商业智能（Data Warehousing and Business Intelligence，DW/BI）系统。DW/BI系统首先应该仔细考虑的问题是业务需求。《维度建模》系列文章将紧紧抓住业务需求这一要点，逐步深入探讨逻辑设计、物理设计以及采用有关技术和工具的决策等问题。

全栈程序员站长

2022/08/23

2590

维度模型数据仓库（一） —— 概述

大数据 sql 数据库云数据库 SQL Server

最近看了三本关于数据仓库的书，很有收获，也很受启发。这三本书分别是《数据仓库工具箱（第三版）》、《Dimensional Data Warehousing with MySQL: A Tutorial》和《Pentaho Kettle解决方案》。在仔细研读了这三本书之后，感觉就像是一本书的三个层次。Ralph Kimball的经典著作数据仓库工具箱阐述的是维度建模方法论和按不同行业建模的示例。Dimensional Data Warehousing with MySQL在维度模型的基础上，用MySQL基本的SQL语句实现了各种常见场景下的ETL。而Kettle则是完全以Ralph Kimball提出的34个ETL子系统为理论基础开发出来的工具，以提供GUI的方式实现ETL。三本书的作者都是各自领域的杰出人物，是当之无愧的大神，内容的质量自不必说。但是也有些美中不足，比如工具箱这本书翻译的佶屈聱牙，让人颇为费解。Dimensional Data Warehousing with MySQL中有些错误，可能是印刷原因吧（此书没有中文版），有些按书中代码执行得不到想要的结果。倒是Kettle这本书，译者也是长期从事ETL开发的专业人员，不但翻译的通俗易懂，还适当添加了译者注，指出书中的一些过时的说法，至少对我来说受益匪浅。有了以上的这些体会，我自然而然地产生一种想法：把几本书中所讲内容用一个完整的示例系统地实验一遍，使用SQL和Kettle两种方式来实现。一来对维度建模方法加深一下印象，二来也是对前段学习的一个总结，三是作为以后做数据仓库相关工作的不时之需。这是第一阶段要做的事情，第二阶段准备用Data Vault模型再做一遍，研究一下这种较新的建模方法。内容组织：（一）维度模型基础（二）准备数据仓库模拟环境（三）初始装载（四）定期装载（五）进阶技术 1. 增加列 2. 按需装载 3. 维度子集 4. 角色扮演维度 5. 快照 6. 维度层次 7. 多路径和参差不齐的层次 8. 退化维度 9. 杂项维度 10. 多重星型模式 11. 间接数据源 12. 无事实的事实表 13. 迟到的事实 14. 维度合并 15. 累积的度量 16. 分段维度

用户1148526

2022/12/02

5950

数据仓库系列之维度建模

数据分析

上一篇文章我已经简单介绍了数据分析中为啥要建立数据仓库，从本周开始我们开始一起学习数据仓库。学习数据仓库，你一定会了解到两个人：数据仓库之父比尔·恩门（Bill Inmon）和数据仓库权威专家Ralph Kimball。Inmon和Kimball两种DW架构支撑了数据仓库以及商业智能近二十年的发展，其中Inmon主张自上而下的架构，不同的OLTP数据集中到面向主题、集成的、不易失的和时间变化的结构中，用于以后的分析;且数据可以通过下钻到最细层，或者上卷到汇总层;数据集市应该是数据仓库的子集;每个数据集市是针对独立部门特殊设计的。而Kimball正好与Inmon相反，Kimball架构是一种自下而上的架构，它认为数据仓库是一系列数据集市的集合。企业可以通过一系列维数相同的数据集市递增地构建数据仓库，通过使用一致的维度，能够共同看到不同数据集市中的信息，这表示它们拥有公共定义的元素。

黄昏前黎明后

2019/08/26

1.4K0

大数据分析基础——维度模型

其他

维度模型的概念出自于数据仓库领域，是数据仓库建设中的一种数据建模方法。维度模型主要由事实表和维度表这两个基本要素构成。

高广超

2018/12/12

2.6K0

VueX的热更替你知道多少？

vue.js 前端性能监控

我们在使用Vuex的时候，会时不时的更改Vuex内的数据，但是页面不会随之更新，如果数据量大，一个数据依赖另一个数据的话，这样我们要是再刷新页面的话会把以前依赖的数据清空，效率特别低。所以，今天我总结了怎么实现Vuex热更替的功能。实现

马克社区

2022/05/16

3180

维度模型数据仓库（十） —— 快照

大数据

（五）进阶技术 5. 快照前面实验说明了处理维度的扩展。本篇讨论两种事实表的扩展技术。有些用户，尤其是管理者，经常会要看某个特定时间点的数据。也就是说，他们需要数据的快照。周期快照和累积快照是两种处理事实表扩展的技术。周期快照是在一个给定的时间对事实表进行一段时期的总计。例如，一个月销售订单周期快照是每个月底时总的销售订单金额。累积快照用于跟踪事实表的变化。例如，数据仓库可能需要累积（存储）销售订单从下订单的时间开始，到订单中的商品被出库、运输和到达的各阶段的时间点数据来跟踪订单生命周期的进展情况。用户可能要取得在某个给定时间点，销售订单处理状态的累积快照。下面说明周期快照和累积快照的细节问题。周期快照本节以销售订单的月底汇总为例说明如何实现一个周期快照。首先需要添加一个新的事实表。图（五）- 5-1中的模式显示了一个名为month_end_sales_order_fact的新事实表。该表中有两个度量值，month_order_amount和month_order_quantity，这两个值是不能加到sales_order_fact表中的。不能加到sales_order_fact表中的原因是，sales_order_fact表和新的度量值有不同的时间属性（数据的粒度不同）。sales_order_fact表包含的是每天一条记录。新的度量值要的是每月的数据。使用清单（五）- 5-1里的脚本建立month_end_sales_order_fact表

用户1148526

2022/12/02

5930

人力资源数据分析 - 数据维度指南

数据分析

数据分析逻辑是整个人力资源数据分析过程中最核心的一个环节。我们在学习数据分析的过程中，一些软性的技能我们可以通过线上学习或者跟随老师的操作，反复的操作就可以学会，比如EXCEL的技能，这些都是数据技能类的知识。但是思维的养成和改变确实最难的，数据分析的思维需要你在真实的工作场景中，通过真实的案例的学习，积累数据分析的经验，养成数据分析的思维。所以数据分析的思维是不断学习积累的过程。

王佩军

2022/02/09

1.8K0

快速生成日期维度数据

数据库 sql 存储

用户1148526

2019/05/25

1.4K0

数据仓库系列--维度表技术

排序数据数据仓库数据存储性能

维度表技术常见：增加列，维度子集，角色扮演维度，层次维度，退化维度，杂项维度，维度合并，分段维度等基本维度表技术。

Dlimeng

2023/06/29

1850

点击加载更多

相似问题

oss上传图片报错cURL error 55: Send failure: Broken pipe？

01.4K

使用COS的Java SDK的高级接口上传异常，Broken pipe (Write failed？

0573

linux部署Web项目访问时抛出Broken pipe (Write failed)是什么原因？

0306

strace发现发生broken pipe时多次write tcp报文，为什么会调用write多次？

0125

cos对象存储使用高级API上传文件时内网上传大批量文件的时候稍微大的文件报broken pipe？

31.4K

问数据维度更替？

回答

oss上传图片报错cURL error 55: Send failure: Broken pipe？

使用COS的Java SDK的高级接口上传异常，Broken pipe (Write failed？

linux部署Web项目访问时抛出Broken pipe (Write failed)是什么原因？

strace发现发生broken pipe时多次write tcp报文，为什么会调用write多次？

cos对象存储使用高级API上传文件时内网上传大批量文件的时候稍微大的文件报broken pipe？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐