开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

mpp架构的问题

在云计算领域，MPP（Massively Parallel Processing）架构是一种高性能计算架构，它可以在多个处理器之间并行处理大量数据。MPP架构的主要优势在于其能够处理大量数据，并且能够在短时间内完成复杂的计算任务。MPP架构的应用场景包括大数据处理、机器学习、人工智能、金融分析等。

在腾讯云中，可以使用腾讯云CVM（Cloud Virtual Machine）和腾讯云CDB（Cloud Database）来构建MPP架构的系统。CVM是腾讯云提供的高性能计算虚拟机，可以支持多个处理器和高速网络，以实现高性能计算。CDB是腾讯云提供的分布式数据库，可以支持大量数据的存储和处理，并且具有高可用性和高可扩展性。

推荐的腾讯云相关产品和产品介绍链接地址：

这些产品可以帮助用户快速构建MPP架构的系统，并且可以方便地进行扩展和管理。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

MPP架构与Hadoop架构是一回事吗？

计算机领域的很多概念都存在一些传播上的“谬误”。MPP这个概念就是其中之一。它的“谬误”之处在于，明明叫做“Massively Parallel Processing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑——难道Hadoop不是“大规模并行处理”架构了？很多人在对比两者时，其实并不知道MPP的含义究竟是什么、两者的可比性到底在哪里。实际上，当人们在对比两者时，与其说是对比架构，不如说是对比产品。虽然MPP的原意是“大规模并行处理”，但由于一些历史原因，现在当人们说到MPP架构时，它们实际上指代的是“分布式数据库”，而Hadoop架构指的则是以Hadoop项目为基础的一系列分布式计算和存储框架。不过由于MPP的字面意思，现实中还是经常有人纠结两者到底有什么联系和区别，两者到底是不是同一个层面的概念。这种概念上的含混不清之所以还在流传，主要是因为不懂技术的人而喜欢这些概念的大有人在，所以也并不在意要去澄清概念。“既然分布式数据库是MPP架构，那么MPP架构就等于分布式数据库应该也没什么问题吧。”于是大家就都不在意了。不过，作为一个技术人员，还是应该搞清楚两种技术的本质。本文旨在做一些概念上的澄清，并从技术角度论述两者同宗同源且会在未来殊途同归。

03

每日一博 - MPP（Massively Parallel Processing，大规模并行处理）架构

MPP（Massively Parallel Processing，大规模并行处理）架构是一种常见的数据库系统架构，主要用于提高数据处理性能。它通过将多个单机数据库节点组成一个集群，实现数据的并行处理。

03

MPP技术的优势与严重缺陷

MPP代表"Massively Parallel Processing"，是一种计算机架构，旨在通过分布式处理来实现大规模数据处理和分析。它使用多个处理器或计算节点同时工作，以加快数据处理速度和提高性能。MPP架构通常用于处理海量数据的应用程序，如数据仓库、商业智能和大数据分析。

03

MPP大规模并行处理架构详解

这个问题不少小伙伴在面试时都遇到过，因为对MPP这个概念了解较少，不少人都卡壳了，但是我们常用的大数据计算引擎有很多都是MPP架构的，像我们熟悉的Impala、ClickHouse、Druid、Doris等都是MPP架构。

06

SMP、NUMA、MPP体系结构介绍

从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构 (SMP ： Symmetric Multi-Processor) ，非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) ，以及海量并行处理结构 (MPP ： Massive Parallel Processing) 。它们的特征分别描述如下：

03

TiDB 数据库 HTAP 技术摘要

TiDB 默认由优化器自动选择是否使用 MPP 模式，你可以通过修改变量 tidb_allow_mpp 和 tidb_enforce_mpp 的值来更改选择策略。

03

OLAP介绍

OLAP（On-Line Analytical Processing）即联机分析处理，通过对数据大量分析，得出分析报告，提供决策支持，其侧重数据分析能力，比喻说用户行为分析。

02

MPP DB技术分类

随着数据量的增大，传统数据库如Oracle、MySQL、PostgreSQL等单实例模式将无法支撑大量数据的处理，数据仓库采用分布式技术成为自然的选择。 6.2.1 MPP的概念在讨论MPP DB之前，我们先把MPP本身的概念搞清楚。MPP是系统架构角度的一种服务器分类方法。从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构（Symmetric Multi-Processor，SMP）、非一致存储访问结构（Non-Uniform Memory Access，NUMA），以及海量并行处

06

MPP(大规模并行处理)简介转

MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。

03

数仓数据处理DB基本概念解析与理解 OLAP OLTP HATP 异同 MPP架构

学习数仓的时候，可能一开始总是被一些英文缩写名字迷惑，OLAP MPP架构 KAPPA架构 ODS等等，这篇文章就来梳理一下这些基本概念。

04

MPP DB 是大数据实时分析系统未来的选择吗？

大数据领域，实时分析系统（在线查询）是最常见的一种场景，前面写了一个《实时分析系统(HIVE/HBASE/IMPALA)浅析》讨论业界当前常见的方案。互联网公司用得比较多是HIVE/HBASE，如腾讯基于HIVE深度定制改造，改名为TDW，小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。当前在实时分析系统中，最难的是多维度复杂查询，目前没有一个很好的解决方案，这两天和人讨论到MPP DB（分布式数据库，以Greenplum为最典型代表）。如果从性能来讲，MPP

07

TiDB 数据库 HTAP 技术摘要

TiDB 高级系统管理：TiDB 数据库 HTAP 技术要点思考一下： 1. 异步复制怎么保证一致性读取？ 2 raft 角色有哪三种? TiDB 数据库 HTAP 概述青铜级练习特点

02

MPP架构详解_大数据中心架构详解

数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk：

01

从架构特点到功能缺陷，重新认识分析型分布式数据库 (转载非原创)

转载来源: https://www.cnblogs.com/ivan-uno/p/9051225.html

01

数据平台的历史进程

我们一直在追赶续期的迭代。在过去十年中，我们看到了数据处理技术突破性技术进步后的突破性进展，并且在2015年我们已经到了Spark的时代。

01

数据库架构比较

20世纪90年代，使用MPP架构的Netezza和Teradata的数据库设备对Oracle，IBM和Microsoft在anlytics数据库市场的主导地位提出了挑战，并且随着“大数据”的出现以及带有分布式处理的Hadoop的严峻考验。

02

【案例】农业银行大数据平台项目——海量数据复杂运算处理

数据猿导读随着数据量的不断增大、接入的系统越来越多，系统加工效率逐步降低，满足内部数据分析和监管机构的监管数据不断增加的需求，农业银行在2013年开始建设完全自主可控的大数据平台。本篇案例为数据猿

【Linux 内核】NUMA 非一致内存访问结构 ( NUMA 概念介绍 | NUMA 架构优势分析 | SMP、NUMA、MPP 架构 )

非一致内存访问结构 , 英文名称 Non Uniform Memory Access , 简称 NUMA ;

02

三种数据库架构的介绍

从数据库架构设计的角度，主要有三种，Shared Everything、Shared Disk以及Shared Nothing。

03

服务器05-CPU和内存架构介绍

我本人不认为MPP是CPU和内存架构的一种；我认为他是SMP或者NUMA的分布式架构应用而已；本文后续说明。

01

服务器体系(SMP, NUMA, MPP)与共享存储器架构(UMA和NUMA)

各CPU共享相同的物理内存，每个 CPU访问内存中的任何地址所需时间是相同的，因此SMP也被称为一致存储器访问结构(UMA：Uniform Memory Access)

04

从 Clickhouse 到 Snowflake： MPP 查询层

导语 | 伴随着Snowflake的成功，重新激活了数据分析市场，大大小小的创业公司不断创立，各种OLAP的开源产品层出不穷。其中，ClickHouse凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩，但其在功能特性、易用性等方面都还有较多不足。同时，在OLTP、对象存储、Elasticsearch、MongoDB等系统中累积了大量数据和分析需求，不能较好的得到满足。因此，我们希望以Clickhouse为基础，借鉴Snowflake的设计思路，打造一款高性能的云原生OLAP数仓，为用户提供多数据源、多场景下的一站式数据分析平台。

04

国产数据库|聊聊南大通用 GBase 数据库

南大通用的 GBase 数据库在墨天轮国产数据库排行榜 20 年底的最后两月还一度上升到第三名，这是值得可喜可贺的，在本月排名为第七名，得分为 336.03，分数较上月增加了 23.13，总体而言一直处于上升趋势，希望 GBase 数据库再接再厉更上一层楼。

01

站在百亿亿次巅峰之前，Top500超算的过去、现在与未来

毫无意外，算力为445PFlops的日本理化学研究所富岳（Fugaku）超算继续蝉联榜首，而二三四名也与上届和上上届榜单一样，被橡树岭国家实验室的Summit（美国）、劳伦斯利弗莫尔国家实验室是的Sierra（美国）、国家超算中心无锡的神威太湖之光（中国）分别收入囊中。

02

IT全栈-服务器03-X86-PCServer内存及NUMA介绍

最早的服务器是1颗CPU；随着应用压力的增大，单颗CPU性能存在瓶颈；简单粗暴的办法---架构不变，再增加1颗CPU，即SMP。

02

Batch、MPP、Cube 和 Hadoop

Batch：批处理 MPP：大规模并行处理 Cube：多维立方体 Hadoop：是一款支持数据密集型分布式应用程序

03

【大数据100分】大数据架构及行业大数据应用(中级教程)

【大数据100分】南大通用CTO武新：大数据架构及行业大数据应用〖大数据中级教程〗主讲嘉宾：武新主持人：中关村大数据产业联盟副秘书长陈新河承办：中关村大数据产业联盟武新，南大通用高级副总裁兼CTO，法国奥尔良大学和法国国家科研中心博士；南大通用GBASE系列数据库产品的总设计师。在著名的甲骨文公司任职12年，是世界顶级的Oracle数据库专家。2010年获得中组部实施的国家“千人计划”荣誉（海外高层次人才引进计划），是国内基础软件行业唯一入选的数据库技术专家。对目前最新兴的列存储技术、压缩技术

面试官: ClickHouse 为什么这么快？

这两种方法中，并没有哪一种严格地比另一种好。运行时代码生成可以更好地将多个操作融合在一起，从而充分利用 CPU 执行单元和流水线。矢量化查询执行不是特别实用，因为它涉及必须写到缓存并读回的临时向量。如果 L2 缓存容纳不下临时数据，那么这将成为一个问题，如果我们要尽量使块的大小足够小，从而 CPU 缓存能够容纳下临时数据。在这个假设下，与其他计算相比，读写临时数据几乎是没有任何开销的（相比后者优点：拆分流水线使得中间数据缓存、获取同时运行的类似查询的中间数据以及相似查询的流水线合并等功能很容易实现，并且矢量化查询执行更容易利用 CPU 的 SIMD 功能）。论文表明，将两种方法结合起来是更好的选择，clickhouse 使用了矢量化查询执行，同时初步提供了有限的运行时动态代码生成。

04

从0到1搭建大数据平台之计算存储系统

前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。

03

构建实时数仓 - 当 TiDB 偶遇 Pravega

数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务，也是“数据智能”建设的基础环节。早期数仓多为离线模式，主要处理的是 T+1 的数据，随着互联网时代的到来，实时数据处理的场景日益增多，离线数仓已无法满足业务发展的实时性需求。为更好的解决业务场景的实时化需求，实时数仓建设已成必然趋势，这也是 HTAP 数据库的重要能力之一。

00

使用 TiDB 构建实时应用

本文由 PingCAP 研发工程师雷宇分享，主要从宏观角度分析 TiDB 究竟能做什么，创造什么样的价值，以及研发过程中的一些设计立足点。文章将从四个部分分享：

02

数据智能之多维度分析系统的选型方法

##引言前文回顾：《数据智能时代来临：本质及技术体系要求》作为本系列的第一篇文章，概括性地阐述了对于数据智能的理解以及推出了对应的核心技术体系要求：

02

对比MPP计算框架和批处理计算框架

翻译原文链接： https://content.pivotal.io/blog/apache-hawq-next-step-in-massively-parallel-processing MPP最开始的设计目的是为了消除共享资源的使用，即每个executor有独立的cpu、内存和磁盘等资源，每个executor一般不能访问其他executor的资源。但是有一种情况例外，那就是当数据必须要通过网络进行交换的时候(译者注：即shuffle)。这种设计理念效果很好，使MPP具有了比较凑合的扩展性。 MPP的

大数据Doris（一）：深入了解Apache Doris

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。

07

Drug Discov Today｜利用深度注意力神经网络推进药物发现

在快速发展的药物发现领域，传统方法的局限性日益凸显。尽管大量资金投入到新药研发中，但近90%的潜在候选药物在临床试验阶段失败，这主要是由于临床疗效不佳、药代动力学特性不理想或存在不良副作用等原因。为了应对这些挑战，科研人员正在探索利用人工智能（AI）和机器学习（ML）技术来加速药物发现进程、降低成本并提高成功率。特别是深度学习（DL）技术，在管理庞大的数据集、提高预测准确性以及简化复杂工作流程方面展现出了非凡的能力。

01

云数据库的本质是什么？

内容来源：2017 年 11 月 18 日，北京偶数科技创始人兼CEO常雷在“第七届数据技术嘉年华”进行《云数据库的本质》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。

00

树标准、搭架构，偶数科技的“湖仓一体”特别在哪？

一时间，似乎所有与数据库有关的厂商都在提“湖仓一体”，仅从百度新闻搜索查询到权重较高的媒体文章就至少有150多篇。随着企业数字化转型进入深水区，越来越多的企业视“湖仓一体”为数字变革的重要契机，如今湖仓一体受到前所未有的关注。

03

谁懂？这23个关于大数据的灵魂拷问！

大数据是海量数据模式下，对数据进行存储以及计算的一种架构，或者说生态。数据量达到这个级别，单机数据库、MPP架构都无法支撑的时候，只能寻求大数据架构去做解决。

03

场景下的交互式计算引擎Impala和Presto

1、跟Hadoop生态系统完好结合，可与Hive Metastore对接，处理hive中的表，可直接处理存储在HDFS和Hbase中的数据。

02

大数据Doris（一）：Doris概述篇

Doris由百度大数据部研发，之前叫百度Palo，于2017年开源，2018年贡献到 Apache 社区后，更名为Doris。

03

大数据平台架构：数据平台建设的几种方案

随着大数据在越来越多的企业当中落地，企业要开展大数据相关的业务，那么首先要搭建起自身的数据平台。而企业搭建大数据平台，往往需要结合成本、业务、人员等各方面的因素，来规划数据平台建设方案。今天我们就来聊聊数据平台建设的几种方案。

05

为什么说Spark SQL远远超越了MPP SQLSpark SQL 成为了一种跨越领域的交互形态

这里说的并不是性能，因为我没尝试对比过（下文会有简单的说明），而是尝试从某种更高一层次的的角度去看，为什么Spark SQL 是远远超越MPP SQL的。

01

成为一栈式数据服务生态： TiDB 5.0 HTAP 架构设计与成为场景解

数字化转型浪潮是现在进行时，在企业数字化转型的过程中，我们看到一个普遍的趋势，企业对“海量、实时、在线”的数据需求变得更加迫切。数字化转型并不是互联网公司的专利，人工智能、大数据、物联网这些技术也不仅仅是互联网公司才会使用。事实证明，越来越多的传统企业正在应用这些新兴技术进行业务的创新。每一项新技术的应用都需要一定的技术积累，互联网公司也许会配备很多工程师来支持一个数据体系架构。但对于传统公司来说也许不具备这样的实力，他们会发现自己很难驾驭大数据技术栈。此外，传统大技术栈已经慢慢开始难以应对日新月异的业务需求和爆炸性的数据增长。企业的很多业务对数据实时性的要求越来越高，比如风控、反欺诈等，更早地识别和阻断风险可以让企业减少损失；在物流行业，更实时的数据让物流企业可以更实时地调配行车路线和各类资源，以达到更好的运营效率；公共服务也会对实时数据产生要求，如果去柜台办理一个业务，需要等很久才能查到刚刚办的上一个流程的数据，这对于用户体验来说是非常糟糕的。

03

“big data” 与 “database” ？

最近的大数据是非常的火，如何理解大数据与DATABASE 不同的地方，今天想瞎说八道一下，个人对大数据和数据库之间不同的一些想法。

01

StarRocks：单表查询速度媲美ClickHouse的云时代极速全场景MPP数据库

大数据时代用户们对数据分析的要求一直都在。早期通过Hadoop的生态圈，用HIVE等语言进行数据分析，虽然很好的解决了数据规模的问题，但是时延却一直不好。

03

大数据OLAP框架对比

以上是在大数据处理方面常用的四种技术原理，上面这些处理数据的方式极大程度的提高了单位时间内数据处理的能力，但是其还是没有摆脱数据量和查询时间的线性关系。于是在OLAP处理方式上，我们多了一种：

07

PolarDB获得大奖，X-DB坟头长草

根据阿里云数据库公众号的消息，4月17日，第十五届中国电子信息技术年会上正式颁发2020年中国电子学会科学技术奖，阿里云自研的“云原生分布式关系型数据库PolarDB”项目获得科技进步一等奖。这也是继飞天云操作系统之后，阿里云第二次自研技术获此殊荣。

03

TiDB HTAP 的架构演进及实践

在访问量和数据量急剧膨胀的今天，关系型数据库已经难以支撑庞大复杂的系统规模。在此背景下，备受关注的数据库新理念 HTAP，会是一条“正确”的路吗？在刚过去的 QCon 全球软件开发大会上，PingCAP 实时分析产品负责人马晓宇发表了《TiDB HTAP 的架构演进及实践》的主题演讲，它从 HTAP 的历史入手，详述了 HTAP 的技术挑战以及 TiDB 的应对方案。本文为其演讲整理文，enjoy~ 大家好，今天为大家分享以下几方面内容。首先是分享 HTAP 的历史，其次是 TP 和 AP 之间存储和计算的

02

关于OLAP数仓，这大概是史上最全面的总结！（万字干货）

关于数据仓库，早期分享过不少基础类文章，偶然间看到知乎上这篇关于OLAP的深度解读，从技术发展，产品选型，执行优化等方面做了详细的剖析，分享来给大家看看！

05

SQL on Hadoop技术分析（一）

背景 Hadoop的诞生是划时代的数据变革，但关系型数据库时代的存留也为Hadoop真正占领数据库领域埋下了许多的障碍。对SQL（尤其是PL/SQL）的支持一直是Hadoop大数据平台在替代旧数据时代亟待解决的问题。Hadoop对SQL数据库的支持度一直是企业用户最关心的诉求点之一，也是他们选择的Hadoop平台的重要标准。自打Hive出现之后，SQL onHadoop相关系统已经百花齐放，速度越来越快，功能也越来越齐全。目前比较主流的有Impala，Spark SQL，HAWQ，Tez，Drill，

05

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭