每天约有 800 万独立访问者访问 Leboncoin，到 2022 年，该网站每月有超过 1000 亿次 HTTP 调用并且启动和运行 700 个应用程序，使其成为访问量最大的法国网站之一。
人类已经进入数据驱动的时代，数据为先、移动为先、云为先、智能为先的时代！繁杂的数据中隐藏着有用的“智慧”，在企业和每个人心中建立“数据文化”成为建设智慧企业的必然。采用完整的大数据解决方案，将在未来几年，给全球企业带来万亿级的新的利润增长点。大数据 × 行业，让人类从IT时代步入DT时代，数据从关系型数据到非格式化数据以及半格式化数据、机器数据共存共生的时代，数据从积累量也与日俱增，同时伴随着互联网的发展，越来越多的应用场景产生，传统的数据处理、存储方式已经不能满足日益增长的需求。而互联网行业相比传统行业对新生事物的接受度更高、应用场景更复杂，因此基于大数据构建的数据仓库最先在互联网行业得到了尝试。未来的趋势传统数据仓库逐渐被大数据构建的数据仓库替代。
0x00 前言 翻出来之前零零散散写的数据仓库的内容，重新修正整理成一个系列，此为第一篇《数据模型》。 数据仓库包含的内容很多，比如系统架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容： 以Hadoop、Spark、Hive等组件为中心的数据架构体系 调度系统、元数据系统、ETL系统这类辅助系统 各种数据建模方法，如维度建模 我们暂且不管数据仓库的范围到底有多大，在数据仓库体系中，数据模型的核心地位是不可替代的。因此，本篇会对经典的数据模型做一个大致的介绍，下一篇会专门分享一下数据模型中的
NO.1 Data Mining 和统计分析有什么不同？ 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或模糊计算等等理论方法，也都是由统计学者根据统计理论所发展衍生，换另一个角度看，Data Mining有相当大的比重是由高等统计学中的多变量分析所支撑。但是为什么Data Mining的出现会引发各领域的广泛注意呢？主要原因在相较于传统统计分析而言，Data Mining有下列几项特性：
NO.1 Data Mining 和统计分析有什么不同？ 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或模糊计算等等理论方法，也都是由统计学者根据统计理论所发展衍生，换另一个角度看，Data Mining有相当大的比重是由高等统计学中的多变量分析所支撑。但是为什么Data Mining的出现会引发各领域的广泛注意呢？主要原因在相较于传统统计分析而言，Data Mining有下列几项特性： 1.处理大量实际数
基于维度建模的KimBall架构，将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用，如下图。
主要是管理业务流程审批和企业内部行政办公事务，通过灵活的审批流程实现无纸化办公，如：请假单的发放、派车单的发放、公司通告的发放、公司内部主页和活动投票等功能。但是不具有CRM的客户和供应商管理能力，主要用于企业内部管理。
所有人都想从最基本的开始做起，了解客户是谁。这似乎很简单, 但客户与业务互动渠道的激增使得这个简单的目标变得极其复杂。
为了跟随大数据的发展以及提高我们对信息的使用，我们需要具有洞察力的应用，可以在连接洞察与操作的时候快速且低廉地提取相关性。 在前面的文章中，我提到洞察力形成的需要，并给出一个关于具有洞察力应用的例子。
企业战略规划利用机会和威胁评价现在和未来的环境，用优势和劣势评价企业现状，进而选择和确定企业的总体和长远目标，制定和抉择实现目标的行动方案。 信息系统战略规划关注如何通过信息系统来支撑业务流程的运作，进而实现企业的关键业务目标，其重点在于信息系统远景、组成架构、各部分逻辑关系进行规划。
现在越来越多的企业开始使用商业智能BI软件，用来整合企业中现有的各种数据，对这些数据按照不同的需求进行处理分析，并快速准确地形成分析报告，为企业决策提供数据支持，帮助企业做出明智的业务经营决策。
经过多年来企业信息化建设，大部分都拥有了自己的财务，OA，CRM 等软件。这些系统都有自己的独立数据库，记录着企业运行情况某个方面的数据。但是单独看这些系统的报表，并不一定能对企业运行情况有全面客观的了解。就像只凭身高不能判断一个人是否健康，所以体检的时候我们需要化验许多指标，做各种检测，就是为了对身体情况有更全面的了解，作出更准确的判断。 同样对一个企业，不能仅根据出勤率就判断一个人的绩效高低，因为你不知道他的工作成果情况。仅根据财务报表输入支出也体现不了各部门的收益情况，这个部门有多少工作人员，完成了哪
封面由 ARKie 智能生成，小编御用 AI 设计师。 商业智能 BI ，Business Intelligence 此概念最早于 1996 年由加特纳集团（ Gartner Group ）提出，加特纳集团将商业智能定义为： 商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。 是一类由数据仓库、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。 商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据
据IDC发布的《数据时代2025》报告显示，全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB，平均每天约产生491EB数据。随着数据量的不断增长，数据存储成本成为企业IT预算的重要组成部分。例如1PB数据存储一年，全部放在高性能存储介质和全部放在低成本存储介质两者成本差距在一个量级以上。由于关键业务需高性能访问，因此不能简单的把所有数据存放在低速设备，企业需根据数据的访问频度，使用不同种类的存储介质获得最小化成本和最大化效率。因此，把数据存储在不同层级，并能够自动在层级间迁移数据的分层存储技术成为企业海量数据存储的首选。
之前可能听说过Power BI、Tableau等用于商业分析的工具，但是你可能会认为它们就是用来制作图、仪表盘和报告的。
随着需求越累越多，离线的数仓已经不能完全满足需求了，实时数仓可以满足实时化&自动化的决策需求。数据湖支持大量&复杂数据类型（文本、图像、视频、音频）
很多朋友会觉得写 CRUD 很无聊，翻来覆去就那么点花样。接触不到新鲜的技术，感觉自己要被这个时代淘汰了。于是怨天尤人，连基本的 SQL 都写不好了。
商业智能（简称BI）像雨后的蘑菇一样蓬勃发展。商业智能始于决策支持系统，随着早期计算机的普及，已经有了长足的发展。后来，IBM提出了“数据仓库”的概念。同时，硬件的扩展，软件的更新以及数据库在企业中的广泛应用使商业智能真正兴起。
存储层，主要是负责存储企业各种系统产生的数据，如 Web 业务系统、订单系统、CRM 系统，ERP 系统、监控系统，数据比如系统的订单交易量，网站的活跃用户数，每个用户的交易额。
现在，大数据是一个被滥用的流行词，但是它真正的价值甚至是一个小企业都可以实现。通过整合不同来源的数据，比如：网站分析、社交数据、用户、本地数据，大数据可以帮助你了解的全面的情况。大数据分析正在变的越来越容易，成本越来越低，而且相比以前能更容易的加速对业务的理解。 大数据通常与企业商业智能（BI）和数据仓库有共同的特点：高成本、高难度、高风险。以前的商业智能和数据仓库的举措是失败的，因为他们需要花费数月甚至是数年的时间才能让股东得到可以量化的收益。然而事实并非如此，实际上你可以在当天就获得真实的意图，至少是
作为一家高度数字化和技术驱动的公司，美团非常重视数据价值的挖掘。在公司日常运行中，通过各种数据分析挖掘手段，为公司发展决策和业务开展提供数据支持。经过多年的发展，美团酒旅内部形成了一套完整的解决方案，核心由数据仓库 + 各种数据平台的方式实现。
商务智能，即BI（Business Intelligence），是一种将存储于各种信息系统中的数据转换成有用信息的技术，它起源于经理信息系统（EIS），是决策支持系统（DSS）的继承和拔高。它通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。在企业做大做强的过程中，商务智能扮演着至关重要的角色，它使企业能精确地把握不断变化的商业环境，作出快速而准确的管理决策。
大数据是什么？为什么要使用大数据？大数据有哪些流行的工具？本文将为您解答。 现在，大数据是一个被滥用的流行词，但是它真正的价值甚至是一个小企业都可以实现。 通过整合不同来源的数据，比如：网站分析、社交数据、用户、本地数据，大数据可以帮助你了解的全面的情况。大数据分析正在变的越来越容易，成本越来越低，而且相比以前能更容易的加速对业务的理解。 大数据通常与企业商业智能（BI）和数据仓库有共同的特点：高成本、高难度、高风险。 以前的商业
大数据是什么？为什么要使用大数据？大数据有哪些流行的工具？本文将为您解答。 现在，大数据是一个被滥用的流行词，但是它真正的价值甚至是一个小企业都可以实现。 通过整合不同来源的数据，比如：网站分析、社交数据、用户、本地数据，大数据可以帮助你了解的全面的情况。大数据分析正在变的越来越容易，成本越来越低，而且相比以前能更容易的加速对业务的理解。 大数据通常与企业商业智能（BI）和数据仓库有共同的特点：高成本、高难度、高风险。 以前的商业智能和数据仓库的举措是失败的，因为他们需要花费数月甚至是数年的时间才能让股东得
这是有趣的地方。非常清楚的是S / 4HANA具有出色的分析功能，其中许多功能在S / 4HANA Fiori UX屏幕中启用。客户情况说明书，财务供应链管理和许多其他分析功能已嵌入S / 4HANA用户体验中。
假设我们正在构建一个简单的 Web 应用程序。在大多数情况下，此类项目从最小的数据架构开始。例如，像 MySQL 或 PostgreSQL 这样的关系数据库足以处理和存储许多用户可以使用的数据。他们输入查询，更新它们，关闭它们，更正它们，通常会执行许多操作。它可以是 CRM、ERP、自动银行系统、计费系统，甚至是 POS 终端，应有尽有。
到目前为止，取得这样的成果，我总结了一条经验：就是预先要把事情想清楚，把战略目的、步骤，尤其是出了问题如何应对，一步步一层层都想清楚；要有系统地想，这不是一个人或者董事长来想，而是有一个组织来考虑。当然，尽管不可能都想得和实际中完全一样，那么意外发生时要很快知道问题所在，情况就很好处理了。
数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、Delta Lake。
BI软件是商业智能(Business Intelligence)软件的英文缩写。目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。商务智能系统中的数据来自企业其他业务系统。例如商贸型企业，其商务智能系统数据包括业务系统的订单、库存、交易账目、客户和供应商信息等，以及企业所处行业和竞争对手的数据、其他外部环境数据。而这些数据可能来自企业的CRM、SCM、进销存等业务系统。
OA、ERP、CRM都属于企业管理软件范畴，用于通过信息化手段帮助企业管理人员管理企业，提高管理职能，提升工作效率，但是三者之间有什么区别呢？
2021 年一个有趣的新变化就是：Building the modern stack with open-source data solutions，换成比较容易理解的话，就是基于开源软件构建自己的数据处理流程。如果是在国内玩大数据的人，可能对此还有些不太理解（比如我），现在各家互联网公司基于 Hadoop 生态圈等一系列开源组件构建的大数据平台解决方案早就已经成熟，那modern data stack价值在哪呢？通过对What I Learned From The Open Source Data Stack Conference 2021的阅读，我发现这是为了解决传统企业的数字化转型问题的，让这些企业也能使用上方便高效的处理工具洞察数据，而不用局限于某一家提供闭源的商业解决方案的公司。用文中的话来说，就是通过开源软件，企业可以自己掌控数据，保证用户数据隐私安全，而不用担心数据被第三方公司利用。
对于大部分企业来说，建立数据平台不容易却是件必要的事。企业组织用基于他们设计和实施的数据驱动创新来区分自己。场景和用例包括商业智能、AI/ML、预测分析、减少流失、预测维护、欺诈检测、点击流集成等。
数据湖是一个集中的存储库，允许您以任何规模存储所有结构化和非结构化数据。您可以按原样存储数据，而不必首先构造数据，并运行不同类型的分析—从仪表板和可视化到大数据处理、实时分析和机器学习，以指导更好的决策。
10年前，Pentaho公司创始人兼CTO詹姆斯·迪克逊(James Dixon)在他的博客中第一次提出“数据湖”(Data Lake)的概念；10年后的今天，在业界“数据中台”大火的时代背景下，再来讨论“数据湖”，别有一番风味。
随着企业的发展，各业务线、产品线、部门都会承建各种信息化系统方便开展自己的业务。随着信息化建设的不断深入，由于业务系统之间各自为政、相互独立造成的数据孤岛”现象尤为普遍，业务不集成、流程不互通、数据不共享。这给企业进行数据的分析利用、报表开发、分析挖掘等带来了巨大困难。
作者 CDA 数据分析师 前言 2017年7月29日，由CDA数据分析师主办，以“跨界互联 数据未来”为主题的CDAS 2017第四届中国数据分析师行业峰会在北京中国大饭店隆重举行。 7月29日当天，除了引人眼球的主会场以外，上午同步开放4个分论坛，我们将逐一推送每个分论坛的盛况，以及演讲嘉宾速记稿整理，给每一个CDA成员奉上干货。 CDAS 2017第四届中国数据分析师行业峰会大数据与云计算分论坛中，来自美团、微软、中国电信、易观等五位专家到会分享了云计算作为计算资源的底层，是如何支撑着上层大数据
BI(Business Intelligence)，即商业智能，是一个完整的解决方案，用于有效整合企业现有数据，快速准确地提供分析报告，并提出决策依据，帮助企业做出明智的经营管理决策。
霍尔三维结构是由逻辑维、时间维和知识维组成的立体空间结构，对系统的结构、要素、信息和反馈等进行分析，以达到最优规划、最优设计、最优管理和最优控制等目的。
逐步从单一数据湖转移到分散的 21 世纪数据网格。 （另请查看后续文章：三种数据网格）
这是一本小书而不是一篇文章，因为它详实细致的让你从一个完全不了解大数据技术及相关应用的门外汉，变成一个熟知其概念和意义的“内行人”，所以它很棒！ 主要内容 ·1来自Wikibon社区的大数据宣言 ·2数据处理与分析：传统方式 ·3大数据性质的变化 ·4大数据处理和分析的新方法 4.1Hadoop 4.2NoSQL 4.3大规模并行分析数据库 ·5大数据方法的互补 ·6大数据供应商发展状况 ·7大数据：实际使用案例 ·8大数据技能差距 ·9大数据：企业和供应商的下一步
信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。据统计，数据量每经过2-3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占总数据量的2%~4%左右。因此，企业仍然没有最大化地利用已存在的数据资源，以至于浪费了更多的时间和资金，也失去制定关键商业决策的最佳契机。
作者：薛菲 审稿：张远园 Aileen 写在前面 这篇是小白学数据系列的NoSQL数据库的第二篇：进阶篇。数据分析方向的从业人员可以从中获取数据仓库软件市场的现状和分析，以增加自己的知识储备，为可能的技术转型打基础。而工程师可以找到关于NoSQL主流产品的分析介绍以及选择数据库的一些准则。NoSQL不是万能药，采用技术最好不要跟风，选择适合自己数据和应用的才是最好的哟~没有看过NoSQL基础篇的读者可以在文末的历史文章回顾中找到。 小白问：上次问了NoSQL，SQL的区别，好像有点忘了，我们可以温故而知
大数据，big data，《大数据》一书对大数据这么定义，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。
业务流程重组（Business Process Reengineering BPR）是针对企业业务流程的基本问题进行反思，并对它进行彻底的重新设计，使业绩取得显著性提高。与目标管理、全面质量管理、战略管理等理论相比，BPR要求企业管理人员从根本上重新思考企业已形成的基本信念，即对长期以来企业在经营中所遵循的基本信念（例如：分工思想、登记制度、规模经营和标准化生产等体制性问题）进行重新思考。这就需要打破原有的思维定势，进行创造性思维。
1、产品—为了满足市场需要，而创建的用于运营的功能及服务”就是产品。产品是以使用为目的物品和服务的综合体。产品分类：服务、软件、硬件、流程性材料。其中这里提供的是软件。
以数据洞察力为导向的企业 每年增长 30% 以上。数据有助于公司排除决策错误。团队可以利用数据结果来决定构建哪些产品、增加哪些特性以及追求哪些增长。
缺少外键明显问题是数据库不能强制进行引用完整性检查，如果在高一层没有正确处理，则可能会导致数据不一致（子行没有相应父行）。
数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。
在中国软件市场，欧美尤其是美国软件巨头一直占据重要地位，从底层的操作系统、数据库等基础软件，到上层的ERP、CRM、BI、数仓等应用软件，欧美公司的市场份额都不小，甚至在部分领域还占据近乎垄断的优势。但近几年，欧美软件巨头从中国市场撤退的态势愈发明显。
任何需求均来源于业务 , 业务决定了需求 , 需求分析的正确与否是关系到项目成败的关键所在 , 从任何角度都可以说项目是由业务驱动的所以数据仓库项目也是由业务所驱动的 。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
