数据仓库工程师上手指南-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

数据仓库工程师上手指南

想成为数据驱动决策的幕后英雄？本专栏将带你掌握数据仓库的核心知识与实践技巧！内容涵盖数据建模、ETL流程、性能优化及主流工具应用。通过详实案例与实操指南，帮助你快速上手，提升企业数据管理与分析能力。无

专栏成员

7

文章

3250

阅读量

7

订阅数

真的懂数据库分区吗？数仓为什么要作分区处理不麻烦吗？一文详解数仓分区

数据仓库腾讯技术创作特训营S9 数据库云数据仓库 PostgreSQL

最近要搭某个业务域的数仓，本来设计规划的挺好的，该搭DIM,DWD,DWS的也都设计好了，结果一跑数仓，全是大大小小的1BUG，最后揪出来整个过程，最大的烦人东西就是设计ETL数据入库分区的问题。那么这时候肯定有人说：咳，小事，不整那么多分区表，整全量表就不行了吗？但事实就是如果业务实际到前后两天必须要作环比审核的时候，就不得不做分区了，这几天对每个业务表设计分区有感，对数仓分区概率又多了很多新的认知和理解。

2024-10-15

4350

数据开发/数仓工程师上手指南(六)CDM-DWD层搭建规范及流程

数据分析大数据存储云数据仓库 ClickHouse 数据仓库腾讯技术创作特训营S8

前言这次想聊点出工作技术方面外的内容，DWD该层在写CDM层的时候就提及很多次了大差不差，近期让我感悟较多的话那是那句宁愿犯错也不愿意什么都不做，说这句话如果能够做到，那么执行力也远超过其他人，能力和远见也会在历练中得到充分的成长。但是这也是要区分领域来说，一般我认为这句话的适用程度在自己的技术工作领域上面，可以去尝试换个技术，换个主题或者是从事新的第二事业，而不是在目前大环境下面去犯错，因为现在给你的容错机会极少，凡事还是要注意量与度。好了废话不多说，现在开始DWD层的数据建模。

2024-08-02

3342

数据开发/数仓工程师上手指南(五)CDM-DIM层搭建规范及流程

数据挖掘云数据仓库 for Apache Doris 数据仓库腾讯技术创作特训营S8

在上篇文章的进度和基础之上，我们已经算是构建好了ODS数据引入层，ODS这一层构建的比较简单，没有很多限制规范，但是CDM数据公共层可以算得上是数据仓库的主题，之前我们也将DWD数据明细层、DIM数据维度层和DWS公共汇总层都归纳为这一层层级结构。所有在构建这一层中需要注意的规范和事项比较多，当然对以后数据仓库的维护和优化也会起到很大的帮助，需要细心耐心的搭建规划。那么我们将在本章完成DWD/DIM/DWS这三层的具体搭建和设计规范。

2024-08-01

6150

数据开发/数仓工程师上手指南(四)ODS层搭建规范及流程

腾讯技术创作特训营S8 腾讯云数据仓库 TCHouse-X 大数据存储数据仓库

此系列的前三篇文章已经将整个数据仓库的所有构建逻辑流程讲的十分清晰，等于是我们已经把框架搭建好了，接下来就是填充框架内各个组件层级的内容了。我们已经将数据仓库分为三层，分别是ODS数据引入层、CDM数据公共层和ADS数据应用层，现在我们需要根据业务来逐渐将这三个层面给丰富起来。首先由下到上需要先构建ODS层，那么本章内容我们就来了解ODS数据引入层的搭建规范和对应需求业务的搭建流程。

2024-07-31

3910

数据开发/数仓工程师上手指南(三)数仓构建流程

大数据存储数据仓库腾讯技术创作特训营S8 大数据腾讯云数据仓库 TCHouse-X

此系列的上篇文章通过拆解电商业务数仓系统，通过数仓分层概念对整个业务进行拆解分层，那么本章节将沿着上一篇的数仓概念分层切割电商业务，去具体构建电商业务的数据仓库，我们将按照行业认可标准的流程去构建较为完整的数据仓库。

2024-07-29

4380

数据开发/数仓工程师上手指南(二)数仓构建分层概念

云数据库 Redis®大数据存储数据仓库腾讯技术创作特训营S8

在了解了数仓的基本架构之后，我们还需要掌握数仓构建方法，也就是了解数仓是如何建模的，有什么规则和通用方法。我们应该如何去构建一个性能良好、稳定高效、契合业务的数据仓库。

2024-07-26

3630

数据开发/数仓工程师上手指南(一)数仓概念架构

数据仓库腾讯技术创作特训营S8 腾讯云数据仓库 TCHouse-X

笔者毕业最开始从事的就是大数据开发和数据仓库建设工作，途中曾担任过人工智能工程师和计算机视觉工程师，没想到最后兜兜转转还是回到了最原本的工作数据开发工程师。但很少有写关于本职工作的技术内容输出。

2024-07-25

6740

没有更多了

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态