南大通用GBase 8a MPP Cluster产品也发展成为国内企业大数据、数据仓库领域基础平台软件的领先产品。...2013年8月，农行数据仓库正式立项，确定采用南大通用GBase 8a MPP Cluster与Hadoop的混搭架构。...2013年11月30日，数据仓库原型集群及资负、零售数据集市试运行（28节点MPP集群）。...2014年11月，数据仓库原型环境向生产环境（56节点MPP集群）的迁移与切换工作完成，迁移有效数据103T。 2014年12月，完成财会集市（16节点MPP集群）搭建。...关键技术2：MPP集群双活 双活架构示意图 通过运用GBase 8a MPP集群间同步工具识别主集群增量数据（以DC为单位），点对点传输至备集群，实现主备集群数据一致；同时结合大数据平台批量加工调度平台
另外，我们每个人也在不知不觉中不断产生着大量的数据（比如这个论坛，除了我正在写的内容，后台可以产生10倍以上的数据和衍生的信息：谁在关注、在哪里、关注的这些人有哪些共性、用的是什么终端。...这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析，目前最佳选择是MPP数据库。 ?...－数据仓库的案例 个人对数据仓库比较熟悉，所以可讲讲。我们拿大家熟悉的数据仓库（Data Warehouse＝DW）来看看数据分析的价值。...他们买的是Mainframe,这个门槛非常的高。 武新：买IOE的仍然很多，但问题是他们往往连IOE都用不好，白花不少冤枉钱。 张涵诚：@武新，发明新的计算机吧，it，我们在沿老美设计的路在走。...不知道为什么还买Mainframe，好像中国人买掉了一半的Mainframe。 刘睿民：但是内存技术如果一起使用的话应当速度会猛升。感觉会很有前途！ 武新：太棒了，你们已经在做了。
随着数据量的增大，传统数据库如Oracle、MySQL、PostgreSQL等单实例模式将无法支撑大量数据的处理，数据仓库采用分布式技术成为自然的选择。...4．NUMA与MPP的区别 从架构来看，NUMA与MPP有许多相似之处：它们都由多个节点组成；每个节点都有自己的CPU、内存、I/O；节点之间都可以通过节点互联机制进行信息交互。那么二者的区别在哪里？...而在MPP服务器中，每个节点只访问本地内存，不存在异地内存访问的问题。 5．数据仓库的选择 哪种服务器更加适应数据仓库环境？这需要从数据仓库环境本身的负载特征入手。...显然，适应数据仓库环境的MPP服务器，其节点互联网络的I/O性能应该非常突出，这样才能充分发挥整个系统的性能。...6．MPP数据仓库架构分类 前面讲到MPP架构非常复杂，通常用到数据库系统来屏蔽节点间的负载平衡和调度的复杂性。
中国建设银行信息技术管理部资深经理林磊明 ▼ ▼ 1、银行压力越来越大 从十二五走到十三五期间，银行业面临的各方面的压力越来越大，从我们的年报数字可以看出去年四大行的利润增长基本上趋近于零增长。...硬件方面，采用华为的RH2288系列，2C、docore、256内存、12 4T硬盘，不同时期买的硬盘的容量是不一样的，后来是4T，之前是3T。...MPP数据库，我们搭建了双活机制，两个库之间的同步加验证现在每天大概是22TB的数据，仅需要3小时。...我们做了MPP和Hadoop的交互，有些应用要交互，我们做了非结构化MPP和HDFS之间的融合。...后来启用了MPP和Hadoop之间的备份，大大提高了效率，300T也需要将近20个小时，所以我们做了双活，如果双活稳定的话我们就不用备份数据了。
01 中国建设银行信息技术管理部资深经理林磊明 1）银行压力越来越大 从十二五走到十三五期间，银行业面临的各方面的压力越来越大，从我们的年报数字可以看出去年四大行的利润增长基本上趋近于零增长。...硬件方面，采用华为的RH2288系列，2C、docore、256内存、12 4T硬盘，不同时期买的硬盘的容量是不一样的，后来是4T，之前是3T。...MPP数据库，我们搭建了双活机制，两个库之间的同步加验证现在每天大概是22TB的数据，仅需要3小时。...我们做了MPP和Hadoop的交互，有些应用要交互，我们做了非结构化MPP和HDFS之间的融合。...后来启用了MPP和Hadoop之间的备份，大大提高了效率，300T也需要将近20个小时，所以我们做了双活，如果双活稳定的话我们就不用备份数据了。
这通常会使这个选项变得昂贵，尽管（理论上）它可以部署在廉价的商用服务器上，实际上，它通常部署在具有双冗余磁盘，网络连接和电源的企业级硬件上。...MPP体系结构是数据仓库和分析平台的出色解决方案，因为查询可以分解为组件部分，并在服务器之间并行执行，从而显着提高性能。...“通过大规模并行处理（MPP）设计，查询通常比在对称多处理（SMP）系统上构建的传统数据仓库快50倍”。-微软公司。...成本和高可用性：一些基于MPP的数据仓库解决方案旨在在廉价的商用硬件上运行，而无需可能包含成本的企业级双冗余组件。这些解决方案通常使用自动数据复制来提高系统弹性并确保高可用性。...在此期间，关于数据仓库是否已经死亡以及Hadoop是否会取代 MPP平台的讨论很多，尽管普遍的共识似乎表明Hadoop充其量只是数据仓库的补充技术; 不是它的替代品。 什么是Hadoop？
那么它们的区别在哪里？通过分析下面 NUMA 和 MPP 服务器的内部架构和工作原理不难发现其差异所在。 ...图 3.MPP 服务器架构图数据仓库的选择 哪种服务器更加适应数据仓库环境？这需要从数据仓库环境本身的负载特征入手。...众所周知，典型的数据仓库环境具有大量复杂的数据处理和综合分析，要求系统具有很高的 I/O 处理能力，并且存储系统需要提供足够的 I/O 带宽与之匹配。...显然，适应于数据仓库环境的 MPP 服务器，其节点互联网络的 I/O 性能应该非常突出，才能充分发挥整个系统的性能。...显然，NUMA架构更适用于OLTP事务处理环境，当用于数据仓库环境时，由于大量复杂的数据处理必然导致大量的数据交互，将使CPU的利用率大大降低。
前面讲了数据仓库的价值、构建思路、实例，完成数据仓库的概念、逻辑、物理模型设计后，数仓的产品选型也是需要考虑的部分，根据数据存储量、查询效率、并发能力可以选用MPP数仓和基于Hadoop的分布式数仓等...一、MPP还是Hadoop 这里继续用之前用到的图讲解，数据仓库的特性是处理温数据和冷数据，面向业务分析提供偏于离线分析能力，因此一般选用Hadoop+MPP数仓结合的解决方法，Hive能够提供大批量历史数据的存储计算能力...，Hbase能够提供半结构化文档的快速检索能力，MPP能够提供强大高压缩比基础上的快速查询能力； 二、MPP数仓特性 在MPP解决方案中目前我已接触过的是vertica和GP，在teradata实习期间没有用到...td数仓； 数仓的特性是大批量的查询和索引，少量的改查工作，MPP (Massively Parallel Processing)，即大规模并行处理数据库的一般特性： ① 列式存储意味着高压缩比、高IO.../slave模式，具备统一的查询入口（master），vertica是无中心架构，所有节点都提供查询服务，gbase是存储/管理双中心架构； shared nothing 模式：x86机器构建计算/存储的高扩展集群
Snova为您提供简单、快速、经济高效的PB级云端数据仓库解决方案。...借助于Snova，您可以在数分钟内创建拥有数百节点的企业级云端数据仓库，并高效的完成日常维护工作；也可以使用丰富的Postgre开源生态工具，实现对Snova中海量数据的即时查询分析、ETL处理及可视化探索...性能卓越 基于分布式大规模并行处理MPP框架，可线性扩展存储及计算能力。支持行列混合存储，可按业务需求选择最佳存储方案。查询引擎深度优化，查询效率数倍于传统数据仓库。...安全可靠 双节点同步冗余，实现用户无感的故障转移和容灾备份。分布式部署，计算单元、服务器、机柜三重防护，提高重要数据基础设施保障。用户集群独立部署，支持VPC隔离，数据访问安全多重保障。...借助于Snova数据仓库，在金融、零售、互联网、游戏等多个领域，可方便地搭建用于经营分析决策、海量日志分析、用户行为实时洞察等场景的一套解决方案。
双十一余韵未歇，刚处理完一波售后及退件等“剁手后遗症”的各方人马也已经为再战双十二做好了准备。截至 12 日零点，天猫双十一成交额达 2135 亿元。...回顾各个领先行业企业级数据仓库建设路径，从技术架构上大都经历了从传统数据库或者数据仓库的架构到 MPP 数据库架构再到 Hadoop 的架构体系。...除技术架构外，企业级数据仓库的建设还包括数据模型、数据管理体系以及数据应用体系的建设，整个企业级数据仓库最终实施效果依赖于企业内部专业而有力度的组织机构来推动”。...大数据强势渗透，现实「痛」在哪里？ 开发者需要关注什么？ 然而理想和现实总有一线之隔，在大数据深入渗透各行各业的同时，“数据孤岛”问题也一直存在。...人才缺口在哪里？ 企业数据的爆炸性增长也埋下了隐患，随着大数据不断向水平及垂直领域发展延伸，人才匮乏的问题日益凸显。
集成对应着数据仓库的建设，集成让数据具有表达的全面性，从而具有可用性；分解对应这数据分析，分析特定场景表达的具体性，从而具有可执行性。...多种平均数》《统计学的智慧七珠》 《小白炼成植物学家》 《数据大师们的纷争》 《AB test》，《数据抽样方法大全》 《怎样经营好餐馆》《一元回归》 《MR与spark对比》 数据分析六字诀戏谈《长安十二时辰...》的大案牍术 《聚类，其实就是近朱者赤》，《客户分类是精细化运营的第一步》 《数据库与数仓的区别》 掌握事态功效分析典型相关性分析 《年入15万，买私家车的概率》 《pig实战数据行列变换》《要懂点，数据开发基本功...》 泰坦尼克的冰冷，中国消费结构的变动，《类别变量的分析》《因子分析和对应分析干货实践》《典型相关分析：科研投入与产出》《多维标度分析:城市距离与省市消费》 adboost算法，《方差分析：单因子和双因子分析
我们评估一款产品是否属于真正的云原生数据仓库，不是简单看它是否是分布式，而是看它是否能够充分发挥云平台的这些优势特性。 我给大家举两个简单的例子，来解释云原生数据仓库和传统MPP数据库的差异。...但传统MPP数据库的计算和存储是紧耦合的，扩容时涉及到数据的重分布，而数据仓库里的数据量一般比较多，完成一个数据重分布要花几个小时。...国产数据库和国外主流数据库的差距主要在哪里？...比如微信庞大的在线用户、阿里巴巴的双11、春运期间的12306网站，这些系统后台的数据库压力是海外主流数据库无法想象的，同时也会加速国产数据库的创新步伐，从而有机会超越海外的主流数据库。...你们的“护城河”在哪里？ 简丽荣：这里大家比较熟悉的友商产品主要集中在数据库OLTP（联机事物处理）领域，而我们更擅长的是数据仓库OLAP（联机分析处理），所以和他们在市场上碰到的机会不太多。
曾担任DB2数据仓库系统DBA，熟悉Oracle、Teradata等其他传统数据仓库系统和BIEE、Tableau、SPSS、MicroStrategy等数据可视化工具。...目前我们的大数据参考架构是MPP和Hadoop混搭，加上原有利旧的数据仓库系统，如下图。...当然再差也比我们原来在数据仓库内进行数据处理廉价，不过效率也比不上的（同等计算能力下）。这主要不是计算，而是刚刚说的数据分布的策略造成的，这也是我们要选择MPP作为混搭的原因。...innovate511：@皇上 这个太难说，如果有人质疑，可以说客人如果本来有意愿买，不通过推荐也能下单。ABtest很难说得清楚微量订单带来的变化的原因，唯一的办法就是大家都认同的逻辑来推测。...何鸿凌：@武新 哪里有SMP的？这玩儿除了事务处理系统用，似乎没有在我们这里见到。TD最大的200到300T。传统数据仓库中最大的是广东移动，10台595的DB2，裸数据量上PB。
今天来聊一聊分析型数据管理系统 GBase 8a 它是面向大数据分析类应用领域的一款高性能国产新型数据库产品，用于满足数据密集型行业日益增大的数据查询、数据统计、数据分析、数据挖掘和数据备份等需求，可用做数据仓库系统...GBase 8a MPP Cluster GBase 8a MPP Cluster 数据库，南大通用大规模分布式并行数据库集群系统，简称：GBase 8a MPP Cluster，GBase 8a MPP...GBase 8a MPP Cluster 采用 Shared Nothing MPP 的联邦架构，灵活部署，采用计算存储节点和管理节点双集群的两级部署结构，无单点故障，扩展性好，管理集群最多支持部署 64...GBase 8a MPP Cluster 架构 GBase 8a MPP Cluster 产品所有组件都具备 Active-Active 多活能力，其中三大核心组件为：分布式管理集群 GCWare、分布式调度集群...（GBase 8aMPP Cluster 产品架构图 ） （GBase8a MPP Cluster 技术特点图） 核心技术就是：单节点数据行列混存存储技术和MPP 大规模并行计算技术。
MPP这个概念就是其中之一。...很多人在对比两者时，其实并不知道MPP的含义究竟是什么、两者的可比性到底在哪里。实际上，当人们在对比两者时，与其说是对比架构，不如说是对比产品。...这就与MPP架构的历史有关系。虽然从理论基础上两者是一回事，但是MPP架构与Hadoop架构的发展却是走的两条路线。...MPP架构虽然也是指的“大规模并行处理”，但是由于提出者是数据库厂商，所以MPP架构在很多人眼中就成了“分布式数据库”的代名词，它处理的也都是“结构化”的数据，常常作为企业数据仓库的解决方案。...当然，Hadoop生态圈也要考虑“结构化”的数据，这时Hive就成了Hadoop生态圈的数据仓库解决方案。但是，Hadoop、Spark等框架的理论基础与分布式数据库仍然是一样的。
数据仓库里面存储引擎是非常重要的，存储引擎的好坏，基本决定了整个数仓的基础。 kudu目标 cloudera公司最近发布了一个kudu存储引擎。...active-active replicated clusters that span multiple data centers in geographically distant locations 支持双活复制集群...对这个领域目前是impala+kudu/Hive/Spark SQL/Greenplum MPP数据库在混战，未来这个会走向融合，传统的mpp数据库个人认为会是一个过渡产品。
第一，Starburst 正在创造一种新的数据处理模式，他们允许客户在没有数据仓库的情况下做数据分析应用，为客户提供了更大的便利。...他们的目标就是颠覆数据仓库，数据在哪里存储并不重要，用Starburst ，你可以自由决定数据的存储位置，数仓ETL开发变成了可选项，所有的数据都能够随时进行数据访问，并快速返回结果。...Starburst 的官网上说了，Starburst 可以做你所有数据的分析引擎，也是最快的MPP SQL查询引擎，相信不久后就会IPO了吧，按照公司现在的人数，一大波千万富豪又诞生了！
数据处理层：根据数据处理场景要求不同，可以划分为HADOOP、MPP、流处理等等。 数据分析层：主要包含了分析引擎，比如数据挖掘、机器学习、 深度学习等。 ...一个建议是，当采购产品的时候，除了技术先进性和指标外，更多的应该问问是版本啥时候上线的，是否在哪里成功部署，是否有足够多的客户，如果能做个测试就更好，否则，你就是小白鼠哦，这个坑踩了不少。 ...Hadoop的SPARK的很适合机器学习的迭代，但能否大规模的应用于数据关联分析，能否一定程度替代MPP，还需要实践来验证。 ...MPP应该来说，是采用分布式架构对于传统数据仓库最好的替代，毕竟其实际上是变了种的关系型数据库，对于SQL提供完整支持，在HIVE做了转化分析后，数据仓库的融合建模用它来做性能绰绰有余，其性价比较传统DB2...TD的MPP数据库ASTER也内嵌了很多算法，应该基于并行架构做了很多优化，似乎也是一种选择，以前做过几度交往圈，速度的确很快，但使用资料屈指可数，还需要老外的支持。
美团外卖数据仓库通过MOLAP+ROLAP双引擎模式来适配不同应用场景。MOLAP引擎使用了Apache Kylin。ROLAP我们经过综合考虑，选择了Apache Doris。...数仓交互层引擎的应用现状 目前，互联网业务规模变得越来越大，不论是业务生产系统还是日志系统，基本上都是基于Hadoop/Spark分布式大数据技术生态来构建数据仓库，然后对数据进行适当的分层、加工、管理...双引擎下的应用场景适配问题 架构上通过MOLAP+ROLAP双引擎模式来适配不同应用场景，如下图所示： ?...这种情况下适合MPP引擎支撑下的ROLAP生产模式。...参考资料 Doris文档和源码 Apache Kylin VS Apache Doris 作者简介 朱良，美团外卖数据仓库工程师。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
