数据湖里存放了公司来自各个业务系统的数据，包括结构化数据、非结构化数据（比如日志、邮件、音频等），这些数据完全没有经过清洗，原始系统什么样，在数据湖中就怎样存储。
首先，我们来了解一下数据仓库吧！数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合。
数据仓库的设计不能完全依赖于业务的需求，但又必须服务于业务的价值。那么，该如何地从业务的角度出发，设计一套切实可行的数据仓库呢？
大数据时代，作为数据的掌握者，我们不仅要更好地使用数据，也要更好地管理数据。而数据仓库正是这样一套管理和组织数据的解决方案。
SQL Server数据仓库具有自己的特征和行为属性，有别去其他。从这个意义上说，数据仓库基础架构规划需要与标准SQL Server OLTP数据库系统的规划不同。在本文中，我们将介绍在计划数据仓库时应该考虑的一些事项。
预计到2025年，全球数据量将增长至180ZB，企业必须处理两个主要问题——在哪里存储数据以及如何使用数据。数据仓库自20世纪80年代以来就已经存在，并且其功能不断扩展，可以帮助应对这两个挑战。然而，根据独立市场研究公司VansonBourne的研究，无论技术成熟度如何，而且数据仓库通常由专家开发，失败项目的比例仍然高居不下。
导读：要建设数据中台，我们首先需要明确什么是数据中台，以及数据中台能为企业带来什么价值。
数仓，DataWarehouse，是一个 面向主题的、集成的、稳定的、与时间相关的 数据集合。
马云老师在2019年说了一段话，“很多人会把数据比作石油,我们现在搭建的数据中台,就是希望扮演发电厂的角色”，这一段话，现在被大众认为是“数据中台”这个概念的起源。
在之前的课程中，我们已经学习了基础的网络知识，IP地址的知识，网络存储和网络接入相关的知识。是感觉到意犹未尽呢？还是想赶紧远离这个大魔王赶紧学习其它的内容呢？别急，我们还差最后的一点东西没说完。
【商务智能】数据预处理 【商务智能】数据仓库 ( 多维数据模型 | 多维数据分析 ) 【商务智能】商务智能 ( 概念 | 组成 | 过程 )
b.纵向价值链打通：实现数据信息化（构建元数据管理系统）、信息知识化（构建数据血缘关系和知识分享平台）、知识智慧化（设计领域分析模型）;
横向规划即在数据中台规划初期，需要打通企业各个业务系，打破数据孤岛现象。其实就是我们建设数据仓库的阶段。比如电信业务，我们要把客户、账务、客服、营销等业务板块打通数据，全盘考虑，融通数据形成数据资产。
作为数据仓库和商业智能（DW/BI）行业中有影响力的领军人物，RalphKimball、MargyRoss得到了世界范围内的认可和尊重，他们在《数据仓库与商业智能宝典（第1版）》中确立了行业标准。现在，在《数据仓库与商业智能宝典（第2版）成功设计、部署和维护DW/BI系统》中已经更新了65篇DesignTip和白皮书，从而汇集了DW/BI技术创新前沿的著作。 从项目规划和需求收集，到维度建模、ETL和BI应用，《数据仓库与商业智能宝典（第2版）：成功设计、部署和维护DW/BI系统》涵盖了你在数据仓库和商业智能中将会遇到的所有内容。这些无与伦比的文章提供了成功地设计、部署和维护DW/BI系统的重要建议。 启动DW/BI项目和收集需求的注意事项 集成式企业数据仓库的必备要素，其中包括总线架构和矩阵 事实表的粒度性和三种基本类型 渐变维度技术 星型模式、外支架和桥接表 维度建模高级模式 提取、转换和加载（ETL）子系统与数据质量 BI应用实践 大数据注意事项 无论你正以何种身份参与数据仓库或商业智能项目，这本可轻易参考和最近更新的宝典可谓无价之宝。
关于作者：我是水大人，资深潜水员，一个基于开发、面向分析、走向全栈的饱经摧残的数据新手，爱折腾不爱玩，爱总结爱思考的老兵，错了改改了又错的惯犯。
数据中台的概念最是阿里提出来的是为了实现数据的分层和水平解耦，提供数据服务能力。看了那么多中台的概念，对中台也有些自己的理解。笔者认为中台主要是为了提供全域的数据服务。主要包括以下4部分：数据资产、数据治理、数据模型、数据服务。
最近遇到了一些朋友在群里讨论数据有哪些工作内容，看了一些讨论后总感觉不是很全面。今晚就顺便整理一波居士自己对数据工作内容的理解，这次会从数据团队的角度出发有哪些工作内容，希望能帮助大家理清思路。
数据仓库主要有四种架构，Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构，基本上都会使用到维度建模。
现在各种新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台； 平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…
为什么要数据仓库建模呢？ 如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕混乱的桌面，经常为找一个文件而不知所措。 数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话：“烂程序员关心的是代码，好程序员关心的是数据结构和它们之间的关系”，最能够说明数据模型
大家好，我是一哥，前几天跟一个朋友聊了一些数据中台建设的内容，针对数据仓库中主题域如何划分这个话题聊了很多。其实数据仓库建设的理论大家已经都知道了不少，也看过不少书，那么在实际建设数据仓库中，我们还是会遇到各种问题。今天我们就一起聊聊主题域如何划分？
实现数据仓库和OLAP（联机分析处理）操作的Java应用程序需要借助一些相关的工具和技术。下面将向您介绍如何用Java实现数据仓库和OLAP操作，并提供一些示例代码和最佳实践。
说到数据库，我们一般是指传统的关系型数据库，也就是“联机事务处理”(OLTP)，主要用户在线交易处理。比如银行业务、电信业务之前很多都是Oracle或者DB2(可能现在很多开发者没再用过)，到后来的互联网电商用的MySql，这些都是关系型数据库。
大数据平台当中的数据仓库，往往需要通过建模来更好地对数据进行存储和管理，这其中涉及到性能、成本、效率、质量等多方面的综合考量，对于工程师来说，也需要细细规划。今天的大数据开发分享，我们主要来讲讲数据仓库建模方法与模型。
企业要开展大数据相关业务，首先就需要基于自身的需求，来设计搭建数据系统平台。而大数据系统平台的搭建，需要基于实际需求，来进行系统架构规划。今天我们就从大数据平台开发的角度，来对大数据系统架构模块做一个简单的介绍。
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用：
数据中台是当下非常热门的话题，可以解决企业重复造轮子的问题。虽然数据中台在互联网企业中已经有了多年的实践，但是对于传统企业来说还是一个比较新的话题。
数据中台建设五步法是我们在十几个数据中台项目落地实践中总结出的一套方法论。在数据中台项目落地中，我们可以根据具体项目情况对其中的一个或者几个部分的内容做重点的加强或者减弱，甚至可以只在其中一个方面做重点突破和攻关。
大家好，我是一哥，前几天跟一个朋友聊了一些数据中台建设的内容，针对数据仓库中主题域如何划分这个话题聊了很多。其实数据仓库建设的理论大家已经都知道了不少，也看过不少书，那么在实际建设数据仓库中，我们还是会遇到各种问题。
任何需求均来源于业务 , 业务决定了需求 , 需求分析的正确与否是关系到项目成败的关键所在 , 从任何角度都可以说项目是由业务驱动的所以数据仓库项目也是由业务所驱动的 。
决策支持系统（DSS）是一种信息系统，旨在帮助决策者在复杂问题或未结构化问题中做出决策。它结合了数据、模型、分析工具和用户界面，以提供决策所需的信息和支持。DSS可以针对不同的决策场景提供多种功能和工具，包括数据查询和分析、模型建立和模拟、可视化展示、假设测试等。
大数据不是海市蜃楼，万丈高楼平地起只是意淫，大数据发展还要从点滴做起，基于大数据构建国家级、行业级数据中心的项目会越来越多，大数据只是技术，而非解决方案，同样面临数据组织模式，数据逻辑模式的问题。它山之石可以攻玉，本文就数据仓库领域数据逻辑模型建设最负盛名的FS-LDM进行介绍，旨在抛砖引玉，希望能够给大家以启迪。
大数据不是海市蜃楼，万丈高楼平地起只是意淫，大数据发展还要从点滴做起，基于大数据构建国家级、行业级数据中心的项目会越来越多，大数据只是技术，而非解决方案，同样面临数据组织模式，数据逻辑模式的问题。它山之石可以攻玉，本文就数据仓库领域数据逻辑模型建设最负盛名的FS-LDM进行介绍，旨在抛砖引玉，希望能够给大家以启迪。参与交流请加群：347018601
数据猿导读 恒丰银行探索采用大数据技术构建统一的企业级数据管理平台，重构数据仓库应用，减少数据重复加工与存储，促进信息管理应用的数据融合共享，提高数据处理总体效率，提升数据分析和应用创新能力，正逐步取得预期的成效。 📷 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，互联网普惠金融研究院合办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟协
这几天看了一些专业的解释，还是对ODS、DW和DM认识不够深刻，所以就查了相关的资料，分享给大家一起学习。
实时数仓的主要思想就是：在数据仓库中将保存的数据分为两类，一种为静态数据，一种为动态数据，静态数据满足用户的查询分析要求；而动态数据是为了适应实时性，数据源发声的更新可以立刻传回到数仓中的动态数据中，在经过相应的转换，满足实时的要求。
不同的团队会面临不同的难题，今天居士简单聊一下这几年自己亲身经历以及帮助一些小伙伴解惑后的一些感想。
小B是一名数据分析师，他问小A XXX的所有指标给我一下，小A“鄙视的”给了他一个文档。
现在越来越多的企业开始使用商业智能BI软件，用来整合企业中现有的各种数据，对这些数据按照不同的需求进行处理分析，并快速准确地形成分析报告，为企业决策提供数据支持，帮助企业做出明智的业务经营决策。
根据企业的需求，业务数据存储在 MySQL 中，选择 Sqoop 作为 ETL 工具，HDFS 临时保存 Sqoop 抽取的数据。数据仓库部分选择主流的 Hive，并使用 Tez 进行优化；其中 ADS 层的数据会导出到 MySQL 中，便于前端业务进行快速调用。使用 Presto 作为快速查询的工具，Azkaban 作为调度工具。
很长一段时间，BI和数据仓库几乎都是如影随形、难舍难分。企业如果想要实行“数据驱动决策-决策推动业务发展”的机制，就必须先有数据仓库充当中央存储库，供BI查询和调取，然后再在BI上进行数据的分析与可视化。
👆点击“博文视点Broadview”，获取更多书讯 多数企业都意识到数据的重要性，都希望利用数据来驱动业务发展。但经常会听到这样一句话：“我们企业现在业务都还没做起来，连数据都没有，还不到考虑数据利用的时候。” 这句话在某种程度上代表了一部分企业对于数据利用的认知，即数据利用从先有数据开始。 而数据是在应用建设后存到数据库里的，所以先建设应用，然后等数据库里有了数据后，再考虑如何利用数据。 听上去，这个逻辑完全正确。但其实这就是很多企业对于数据利用的误解，即先建设应用，再考虑数据利用。 如果用这样的思路建
基于大数据技术构建数据仓库平台，源于大数据技术本身的不成熟和普及度问题，以及辅助工具的缺失，注定了其实施过程与传统数据仓库的差异性，和更大的实施难度。本文针对大数据技术应用与数据仓库类项目需求分析阶段，需要完成的主要工作基于用户需求分析说明书的文档结构进行目录式展现。如需了解更深层的细节，可以做专项技术交流和咨询服务。
在这一过程中，作为数字化底座的云，已经不仅仅局限于基础设施角色，更是企业持续创新和精益运营的关键支撑。
大数据是不是海市蜃楼，来自小橡子只是意淫奥克斯，大数据的发展，而且要从头开始，基于大数据建设国家、项目-level数据中心行业将越来越多，大数据仅供技术，而非溶液，临数据组织模式，数据逻辑模式的问题。
莱维：大家好，欢迎大家收看PWorld数字化转型背景下的IT架构重塑的预热访谈会。我是莱维,今天我来讲讲数据中台在数字化转型中的实践。
本文来源于A94大佬的关于数据仓库分享，如果感兴趣兴趣可以登录B站自行查看，在此给出链接地址：857数据交流技术峰会之数仓篇
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
