浅谈MPP系统架构

最近想详细系统研究下Impala。第一句话是基于MPP架构。

大规模并行处理架构是什么，与之对应的还有哪些？它有哪些优缺点？

查了很多资料，发现很多文章有些内容在打架，挺多人云亦云的摘录和矛盾。

于是，基于基于翻阅的众多资料及我的理解，准备了下文。

首先上概念。

搜索MPP，能查出来的大多文章会把以下三种架构放到一起讨论：

服务器三大体系SMP、NUMA、MPP

但它们是一个级别的概念吗？

SMP（Symmetry MultiProcessors)对称型多处理器

关键字：共享

一种多核结构，这些核是完全同构的，任务可以随便在任一个核上跑。

SMP构架的系统中所有CPU共享系统内存和外设资源，由操作系统负责处理器间协作，并保持数据结构的一致性。

基于内存共享及访问的形式，SMP架构又有以下的区分：

UMA(Uniform Memory Access)统一内存访问

物理存储器被所有处理机均匀共享。所有处理机对所有存储字具有相同的存取时间，这就是为什么称它为均匀存储器存取的原因。

每一个共享的环节都可能服务器扩展时的瓶颈，而最受限制的则是内存。由于每个CPU必须通过相同的内存总线访问相同的内存资源，因此随着CPU数量的增加，内存访问冲突将迅速增加，最终会造成CPU资源的浪费，使 CPU性能的有效性大大降低。实验证明，SMP服务器CPU利用率最好的情况是2至4个CPU。

NUMA(Non Uniform Memory Access)非统一内存访问

其访问时间随存储字的位置不同而变化。其共享存储器物理上是分布在所有处理机的本地存储器上。所有本地存储器的集合组成了全局地址空间，可被所有的处理机访问。处理机访问本地存储器是比较快的，但访问属于另一台处理机的远程存储器则比较慢，因为通过互连网络会产生附加时延。

它可以在一个物理服务器内集成许多CPU，使系统具有较高的事务处理能力

NUMA也是SMP架构下的一种分类。

所以把两者放到一起比较，等同于把苏州和中国对比。

度娘百科也和我是一个观点。

COMA(Cache-Only Memory Architecture)只用高速缓存的存储器结构

一种只用高速缓存的多处理机。COMA模型是NUMA机的一种特例，只是将后者中分布主存储器换成了高速缓存, 在每个处理机结点上没有存储器层次结构,全部高速缓冲存储器组成了全局地址空间。远程高速缓存访问则借助于分布高速缓存目录进行。

MPP(Massive Parallel Processing)大规模并行处理

在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据 库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。

MPP服务器架构的并行处理能力更优越，更适合于复杂的数据综合分析与处理环境。当然，它需要借助于支持MPP技术的关系数据库系统来屏蔽节点之间负载平衡与调度的复杂性。

NUMA 与 MPP 的区别

从架构来看， NUMA 与 MPP 具有许多相似之处：它们都由多个节点组成，每个节点都具有自己的 CPU 、内存、 I/O ，节点之间都可以通过节点互联机制进行信息交互。那么它们的区别在哪里？通过分析下面 NUMA 和 MPP 服务器的内部架构和工作原理不难发现其差异所在。

首先是节点互联机制不同。

NUMA 的节点互联机制是在同一个物理服务器内部实现的，当某个 CPU 需要进行远地内存访问时，它必须等待，这也是 NUMA 服务器无法实现 CPU 增加时性能线性扩展的主要原因。

而 MPP 的节点互联机制是在不同的 SMP 服务器外部通过 I/O 实现的，每个节点只访问本地内存和存储，节点之间的信息交互与节点本身的处理是并行进行的。因此 MPP 在增加节点时性能基本上可以实现线性扩展。

其次是内存访问机制不同。

在 NUMA 服务器内部，任何一个 CPU 可以访问整个系统的内存，但远地访问的性能远远低于本地内存访问，因此在开发应用程序时应该尽量避免远地内存访问。

在 MPP 服务器中，每个节点只访问本地内存，不存在远地内存访问的问题。

先了解到这，就不总结了。欢迎大家拍砖交流。