OLAP（Online Analytical Processing）是指在线联机分析，基于数据查询计算并实时获得返回结果。日常业务中的报表、数据查询、多维分析等一切需要即时返回结果的数据查询任务都属于OLAP的范畴。对应的，行业内也有相应产品来满足这类需求，那就是OLAP Server。
关于数据仓库的概念、原理、建设方法论，网上已经有很多内容了，也有很多的经典书籍，本文更想聊聊企业数据仓库项目上的架构和组件工具问题。
工欲善其事,必先利其器。随着互联网行业的飞速发展，越来越多的企业意识到BI工具对企业的业务发展有很大的推动作用，使得工作效率更高更强。目前市面出现的数据分析BI工具，不管是从使用场景，还是适用人群上，都存在着绝对的差异。目前，市面上的BI工具种类繁多，客户在进行BI工具选型时，眼花缭乱，不知所措。以下，就从技术来源上可以将市面上的BI工具做个简单分类，方便了解。
在大数据的风口，起飞的为什么是360？这也许是很多人的疑问，作为大数据业界的弄潮儿，360大数据平台是如何演进的，QDAS是缘何诞生，以及再次变革的原因又是什么？
BI软件即商业智能软件，将来自企业的CRM、SCM、进销存等业务系统产生的数据进行有效整合，并对这些数据进行分析，进而转化为知识，帮助企业做出明智的业务经营决策。目前市面上有各种各样的BI软件，功能上也是五花八门，不过从整体上可以分为传统BI软件和新型BI软件（又叫自助式BI软件）两大类。下面我们分别从这两个类别看下常见的BI软件有哪些。
来源：数据蒋堂 作者：蒋步星 本文长度为1800字，建议阅读4分钟 本文谈谈OLAP，并分析OLAP应当具备的功能。 被狭义化的OLAP OLAP是商业智能应用中重要的组成部分，这个词从字面上理解是在线分析的意思，也就是由用户，特别是业务人员，面对数据进行各种分析操作。 但是，现在的OLAP概念被严重狭义化了。说到OLAP，基本上仅指多维分析，也就是针对一个事先建设好的数据立方体，按指定维度层次进行汇总并呈现成表格或图形，再辅以钻取、聚合、旋转、切片等操作以变换维度层次及汇总范围。多维分析的基本思路认为
数据中台对一个企业，起着至关重要的作用。在数据中台这个称谓成型之前，各个企业也都在用不同的方式来尽可能地利用数据产生价值。只是在这个过程中，也不得不处理着数据带来的各种问题，比如各个业务系统经年累月以烟囱架构形式存在而导致的数据孤岛、数据隔离、数据不一致等等。数据中台对企业的真正意义是，让传统企业向科技企业升级，让IT系统集成向大数据集成升级，让工具/流程/管理向驱动业务运营升级。
数据中台对一个企业，起着至关重要的作用。在数据中台这个称谓成型之前，各个企业也都在用不同的方式来尽可能地利用数据产生价值。只是在这个过程中，也不得不处理着数据带来的各种问题，比如各个业务系统经年累月以烟囱架构形式存在而导致的数据孤岛、数据隔离、数据不一致等等。
近年来，随着银行业务场景的不断丰富、业务规模的不断扩张，用户线上线下交易大幅上升，数据量与数据种类愈加丰富，大量创新型数据分析和应用场景出现，对分析型数据库的存储与计算能力提出了更复杂的需求，尤其在对实时数据价值的深入挖掘、数据库查询与分析性能的提高上提出了更高要求。为满足以上需求，银行纷纷开始重塑数据库体系，对已有分析型数据库进行改造，在支撑业务需求的同时简化架构。
☞ 03.OLAP引擎 [ Kylin Druid Presto Impala Kudu ADB ES .. ]
数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，实时大屏，用户画像，推荐系统，数据分析，数据挖掘，人脸识别，风控反欺诈等等。
这样理解，就简单多啦！ 导读：在大数据领域里，经常会看到例如数据挖掘、OLAP、数据统计等等的专业词汇。如果仅仅从字面上，我们很难说清楚每个词汇的意义和区别。今天，我们就来通过一些大数据在高校应用的例
在大数据领域里，经常会看到例如数据挖掘、OLAP、数据统计等等的专业词汇。如果仅仅从字面上，我们很难说清楚每个词汇的意义和区别。今天，我们就来通过一些大数据在高校应用的例子，来为大家说明白—数据挖掘、
市场上有许多以BI为旗帜的产品，但它们实际上是纯数据工具。选择BI产品时，很多人都会眼花缭乱。我简单地从技术来源对市场上的BI工具进行分类，以便于理解。
内容来源：2017年8月12日，Hulu大数据架构部门负责人董西成在“网易博学实践日：大数据与人工智能技术大会”进行《Hulu大数据架构与应用经验》演讲分享。IT 大咖说作为独家视频合作方，经主办方和讲者审阅授权发布。 阅读字数：1540 | 4分钟阅读 摘要 Hulu大数据架构部门负责人董西成为我们分享Hulu在大数据架构与应用上的实践经验。 Overview 上图是hulu整体的大数据架构。我们的架构和其它架构基本都是大同小异，只在几个地方稍有不同。 Hulu在yarn上主要跑了四种东西，批处理
BI又叫商业智能，简单点说就是从本质上改变企业做决策拍脑袋的情况。BI的定义分为广义和狭义两种。
经过多年来企业信息化建设，大部分都拥有了自己的财务，OA，CRM 等软件。这些系统都有自己的独立数据库，记录着企业运行情况某个方面的数据。但是单独看这些系统的报表，并不一定能对企业运行情况有全面客观的了解。就像只凭身高不能判断一个人是否健康，所以体检的时候我们需要化验许多指标，做各种检测，就是为了对身体情况有更全面的了解，作出更准确的判断。 同样对一个企业，不能仅根据出勤率就判断一个人的绩效高低，因为你不知道他的工作成果情况。仅根据财务报表输入支出也体现不了各部门的收益情况，这个部门有多少工作人员，完成了哪
大家好呀！这里是爱学习的 Guide！今天给大家科普一个速度快到飞起的数据库——ClickHouse。
Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。
随着互联网、物联网、5G、人工智能、云计算等技术的不断发展，越来越多的数据在互联网上产生，对互联网的运营也开始进入精细化，因此大数据、数据分析、数字营销开始变成每个互联网企业的重点。在做数据分析时有OLAP、OLTP是我们必定会遇到的技术，在介绍OLAP引擎技术选型之前，我们先看看这两个技术分别是什么意思？
猿辅导公司的数据中台部门为猿辅导、斑马、猿编程、小猿搜题、猿题库、南瓜科学等各个业务线的产品、运营、研发提供标准化的数据集(OneData)和统一数据服务(OneService)。OLAP平台作为数据中台的一个核心部分，为各个业务线提供统一标准化的、可复用的、高可靠的数据服务，支持各个业务线人员进行快速灵活的查询和分析，是连接前台和后台的桥梁。
数据流程简单，数据处理流程简单，数据包括日志、DB log等，经Sqoop批量或Kafka实时接入大数据平台HDFS里，在大数据平台进行ETL后，通过大数据调度系统Ooize，每天定时写入到关系型数据库MySQL，再以MySQL中数据为基础产出各种报表。
导读：本文由京东零售大数据架构师李海波老师贡献。李海波老师从2016年开始在小米和京东负责商业智能和多维分析，推动了多个OLAP组件在公司落地，积极参与内核研发是Apache Doris和ClickHouse的贡献者，曾在百度等公司长期负责广告和搜索相关架构，毕业于华中科技大学计算机专业。
随着竞争的不断加剧，商业智能的应用已经在在企业的竞争中起到决定性的作用，通过商业智能，可以让企业的老板快速的对于市场信息做出敏捷的判断，及时掌握企业内部信息，以便更快，更好的应对市场的变化。与传统的企业对于商业智能的需求相比，教育的行业机构对商业智能有相似的需求。典型的学校系统或高校需求同样也需要商业智能以及报表生成功能合并入其运营系统。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/80422836
OLAP（On-Line Analysis Processing）在线分析处理是一种共享多维信息的快速分析技术；OLAP利用多维数据库技术使用户从不同角度观察数据；OLAP用于支持复杂的分析操作，侧重于对管理人员的决策支持，可以满足分析人员快速、灵活地进行大数据复量的复杂查询的要求，并且以一种直观、易懂的形式呈现查询结果，辅助决策。 上面是OLAP的一些不同的解释，本文将从以下几个方面介绍OLAP。 开源OLAP引擎：Mondrian快速入门 OLAP的基本概念 OLAP的特点 OLAP的操作
摘要：Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。
在很多人入门数据分析师或者投身大数据行业的时候，必然会听到的两个词就是“报表工具”和“BI商业智能”。然而很多人并不明白两者的概念和区别，以为报表就是BI，BI就是报表。
入行不久的程序员，最容易对自己和技术产生怀疑。整天担心学不到技术，不能在日活1亿的好项目里锻炼。其实完全没必要。项目一旦成为项目，它的新奇感也就没有了。剩下的就是苦逼的活儿，码字。
OLAP的标准概念叫作“联机分析处理系统”，与之对应的是OLTP“联机事务处理系统”。OLTP对于事务性的要求非常高，常用于银行、证券等系统，但运行速度相对有限。有感于此，关系数据库之父Codd便在1993年提出了OLAP的概念，认为用户的很多决策需要依赖大量的计算与多维的分析才能解决，并作为一类单独的产品，与OLTP区分开来。
OLAP（On-line Analytical Processing，联机分析处理）是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTP（On-line Transaction Processing，联机事务处理）的区别来看一下它的特点：
欢聚集团成立于 2005 年，是一家全球领先的社交媒体企业，旗下运营有 Bigo Live 直播、Likee 短视频、HAGO 休闲小游戏等多款社交娱乐产品等。
数据仓库 ( Data Warehousing ) 和 联机分析处理 ( OLAP ) 技术 简介 :
本文主要介绍了 ClickHouse 的简单原理，有赞 OLAP 相关组件以及 ClickHouse 在有赞的实践之路。
分析型系统进行联机数据分析，一般的数据来源是数据仓库，而数据仓库的数据来源为可操作型系统，可操作型 系统的数据来源于业务数据库中，那么我们常用的数据仓库的组成和架构一般如下图所示
当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的用户线索，并将智能分析贯穿业务全链路，实现对用户、产品、场景策略的全面洞察与闭环迭代。本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc 分析提供服务的 OLAP 引擎，逐步发展至基于 Apache Doris构建的统一实时数据仓库，通过一套架构实现各业务领域的多元数据实时分析与融合统一管理，最终实现保险一线业务降本增收的目标。
今天特地查了一些官方解释和很多优秀的博客文章，将关于数仓方面的一些名词理解记了下来，先将这些简称做一个解释：
近日，国际顶级专业分析机构 451 Research 发表了一篇关于 TiDB 的报告《PingCAP eyes US market with database targeting operational and analytical workloads》，其中就提到 TiDB 是一款同时面对在线处理业务和数据分析业务的混合数据库，也就是现在流行的新理念 HTAP。
在大数据和AI时代，数据库成为各类应用不可或缺的重要组成部分。而数据库中的数据依赖存储引擎进行管理，包括数据的存储、查询、更新和删除等。因此，在设计系统时，选择正确的数据库存储引擎方案变得尤为重要。这篇文章将以关系型、NoSQL和NewSQL数据库，以及OLTP、OLAP和HTAP处理方式为切入点，深入探讨不同类型的数据库背后的存储引擎方案选型取舍。
数据仓库选型是整个数据中台项目的重中之重，是一切开发和应用的基础。而数据仓库的选型，其实就是Hive数仓和非Hive数仓的较量。Hive数仓以Hive为核心，搭建数据ETL流程，配合Kylin、Presto、HAWQ、Spark、ClickHouse等查询引擎完成数据的最终展现。而非Hive数仓则以Greenplum、Doris、GaussDB、HANA（基于SAP BW构建的数据仓库一般以HANA作为底层数据库）等支持分布式扩展的OLAP数据库为主，支持数据ETL加工和OLAP查询。
人们在谈商业智能（BI）时，经常会提到OLAP，有的人可能认为OLAP工具就是BI。其实OLAP仅是BI的一部分，是很重要的一项分析技术。那什么是OLAP呢？
用户在选购BI解决方案的时候，常常会更关注界面环节的功能指标，比如美观性、操作的流畅性、移动端支持等等。毕竟，BI是要给业务人员使用的，这些看得见的内容一般不容易被遗漏。
这两天在弄Salesforce的报表数据到企业内部数据库的集成需求，这还是第一个Salesforce报表数据集成场景，以前做的都是Transaction的数据，用Salesforce的Public API或者Cast Iron的Salesforce Adapter都能实现，最开始我们找到了Salesforce的Analytic API，是Salesforce的报表数据API，试用了下，用的是REST+JSON，但发现JSON数据很丑，不好解析，看来这个Report API还比较初级；然后又试了Cast Iron的Salesforce SQL Adapter，可以通过SQL语句快速获得数据，而且Cast Iron Handle了Salesforce的Limit，直接配置就OK，但发现嵌套了两层以上的SQL就不Work。无奈之下试了下SOAP API，惊喜发现可以随便组合SQL来取数据，Salesforce就像一个数据库一样可以用SQL查询，而且是基于互联网的HTTP，而不是基于内网的JDBC。
1、当今的数据处理大致可以分成两大类： 联机事务处理On-Line Transaction Processing 联机分析处理On-Line Analytical Processing
传统意义上我们通常将数据处理分为离线数据处理和实时数据处理。对于实时处理场景，我们一般又可以分为两类，一类诸如监控报警类、大屏展示类场景要求秒级甚至毫秒级；另一类诸如大部分实时报表的需求通常没有非常高的时效性要求，一般分钟级别，比如10分钟甚至30分钟以内都可以接受。
2010年，我到上海的第一年。年底回老家的时候，在火车站碰到一位之前的老同事。闲聊之中，发现他在寻找新的机会，原单位是老企业，没什么活力，年轻人上升空间有限。他30+岁的年纪，上有老，下有小，也是逼急了没办法。要不，他的位置，是个轻松活儿。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
