【存储100问】WEKA NeuralMesh：架构、实现与价值

全文概览

随着人工智能（AI）产业从模型训练为主导，迅速转向以推理和实时响应为核心的“推理时代”（Age of Reasoning），传统存储架构在延迟、并发性和扩展性方面面临前所未有的挑战 1。为应对这一变革，WEKA公司推出了其软件定义存储（SDS）系统——NeuralMesh。

本报告旨在深入剖析NeuralMesh的软件定义能力，阐述其如何通过创新的架构设计提高存储系统的高可用性，并最终加速AI数据处理流程。报告将详细解析其核心技术、关键优化点、对AI工作负载的实际影响，并探讨其在未来存储系统中的演进方向。

阅读收获

• 理解AI“推理时代”对传统存储架构带来的延迟和扩展性挑战，以及为何需要新的解决方案。
• 掌握WEKA NeuralMesh如何通过微服务、动态网格和内核旁路等核心技术，实现超低延迟和随规模增长而增强的韧性。
• 了解NeuralMesh如何通过分布式数据保护和大规模并行重建，将数据恢复时间大幅缩短至分钟级别。
• 看到WEKA NeuralMesh在实际应用中（如Stability AI案例）如何显著提升GPU利用率、缩短模型训练时间并降低存储成本。

WEKA NeuralMesh架构解析：面向AI时代的高可用性与性能加速

图片

1. 解构NeuralMesh架构：核心技术

NeuralMesh的架构并非对现有技术的渐进式改良，而是基于对AI工作负载新需求的深刻理解而进行的根本性重构。其设计理念的核心在于解决传统架构在规模化扩展时变得愈发脆弱的难题，旨在构建一个随规模增长而变得更强大、更具韧性的数据基础设施 3。

1.1. “推理时代”：驱动架构变革的问题域

AI产业的重心正以“不可预见的速度”从模型训练转向推理和实时推理，尤其是随着能够自主决策和学习的“智能体AI”（Agentic AI）的兴起，数据基础设施面临着全新的挑战 1。传统存储平台通常为高吞吐量（GB/s）而优化，适用于批量处理式的模型训练，但无法满足实时推理所需的微秒级（µs）延迟响应 5。

这种延迟瓶颈导致了AI数据中心中最昂贵的资产——图形处理器（GPU）——大量时间处于空闲等待数据的状态，不仅浪费了巨大的能源和资本投入，也严重拖慢了AI创新的速度和令牌（Token）输出效率 1。传统架构在扩展时，其中心化组件或紧耦合的服务会成为性能瓶颈，系统反而变得更加脆弱 3。正是在这样的背景下，WEKA将NeuralMesh定位为其应对动态AI市场需求的“革命性飞跃” 2。

1.2. 软件定义、微服务化的基础

NeuralMesh的基石是一个完全容器化的、基于微服务的架构 1。这一设计与传统的单体式（Monolithic）存储系统形成鲜明对比。在单体式系统中，所有功能（如元数据管理、数据服务、协议处理）紧密耦合，必须作为一个整体进行扩展，任何一个组件的瓶颈都会限制整个系统的性能 5。

图片

NeuralMesh将每一个核心功能解耦，作为独立的、容器化的微服务运行。这些关键服务包括：

• 元数据处理（Metadata Handling）
• 数据服务（Data Services）
• 协议访问（Protocol Access）：支持POSIX、NFS、SMB和S3等多种协议 8。
• 遥测与监控（Telemetry）
• 数据复制与保护（Replication & Data Protection） 5

这种架构为AI工作负载带来了三大核心优势：

1. 弹性扩展（Elastic Scaling）：系统可以根据工作负载的实际需求，独立地扩展某个特定的微服务。例如，在推理任务激增时，可以动态增加协议网关服务的实例数量，而无需扩展整个存储集群，从而实现资源的精细化管理和成本优化 5。
2. 服务隔离与故障遏制（Service Isolation & Fault Containment）：微服务的模块化特性天然地形成了故障域。单个服务的故障或性能波动不会引发连锁反应，有效避免了“级联失败”和“吵闹邻居”效应，这对于保障多租户环境下的服务质量至关重要 5。
3. 敏捷性（Agility）：由于服务相互独立，可以对单个服务进行快速的滚动升级和更新，而对整个系统的影响降至最低。这种敏捷性完美契合了AI领域快速迭代的开发周期 5。

1.3. 动态网格拓扑：实现规模化的反脆弱性

NeuralMesh的“网格”（Mesh）概念是其架构的另一大支柱。它摒弃了依赖中心化控制器或传统无共享（Shared-nothing）的设计，代之以一个分布式的、自组织的网状拓扑结构（Mesh Topology）。在这个网络中，每一个节点都平等地参与数据和元数据的路由、处理与服务 5。

这种拓扑结构从根本上消除了中心化瓶颈（如专用的元数据服务器），实现了大规模并行处理。数据和元数据请求在网格中被动态路由，以达到最佳的性能和负载均衡 8。这正是NeuralMesh声称其“随规模增长而变得更强大、更具韧性”的底层逻辑 3。与传统系统在扩展时性能衰减或停滞不同，NeuralMesh中增加的每个节点都意味着更多的并行处理单元和更多的数据路径，从而形成一个正反馈循环，系统整体性能和韧性随之线性增长 5。

1.4. 超低延迟数据路径：端到端的优化

为实现微秒级延迟，NeuralMesh在整个I/O路径上进行了深度优化，其核心在于绕过传统操作系统内核的瓶颈。

• 内核旁路（Kernel Bypass）：传统I/O操作需要经过多次内核空间与用户空间之间的上下文切换，带来显著的延迟开销。NeuralMesh通过在用户空间进行I/O处理来规避这一问题。
  • 网络层面 (DPDK)：利用数据平面开发套件（Data Plane Development Kit），NeuralMesh将网络设备直接映射到用户空间，绕过内核的TCP/IP协议栈，实现超高速的数据包处理 11。
  • 存储层面 (SPDK)：利用存储性能开发套件（Storage Performance Development Kit），NeuralMesh同样绕过内核，直接与NVMe设备通信，消除了传统存储栈的延迟 12。
• 零拷贝架构（Zero-Copy Architecture）：该架构确保数据在从存储介质到应用程序内存的过程中，无需在内核缓冲区和用户空间缓冲区之间进行不必要的复制。这极大地提升了数据传输的吞吐量，并进一步降低了延迟 5。
• 分布式、基于计算的元数据：元数据管理是高性能存储系统中最常见的瓶颈。NeuralMesh通过一种创新的分布式元数据系统解决了这个问题。它不依赖于内存中的大型查找表，而是采用一种基于哈希计算的方法。整个元数据命名空间被分片（Sharded）成数千个微小的“桶”（buckets），并由分布在所有节点上的虚拟元数据服务器（Virtual Metadata Servers）共同管理。这种设计确保了元数据访问的负载被均匀地分散到整个集群，从根本上消除了元数据热点和单点瓶颈 8。

NeuralMesh I/O数据路径流程

以下Mermaid图展示了一个典型的I/O请求在NeuralMesh系统中的处理流程，突显了其内核旁路和并行访问的特点。

图片

该流程清晰地表明，I/O请求在用户空间被截获后，直接通过DPDK/SPDK进入高速数据路径，绕过了传统内核的层层处理，并在分布式的网格中进行并行处理，最终实现了超低延迟的数据访问。

2. 针对AI工作负载的高可用性与性能优化

NeuralMesh的架构优势最终体现在其为AI工作负载提供的高可用性和卓越性能上。本节将深入分析其数据保护机制，并通过量化案例研究，展示其如何加速AI数据管道。

2.1. 数据保护的范式转移：韧性成为规模的涌现属性

传统存储系统在扩展时，故障域（Failure Domain）的增加往往使其变得更加脆弱。NeuralMesh的设计则反其道而行之，其韧性（Resilience）会随着集群规模的扩大而增强，这是一种架构上的范式转移 3。

• 跨故障域的分布式条带化（Distributed Striping）：NeuralMesh采用纠删码（Erasure Coding）技术保护数据，例如，一个16+2的保护策略意味着一个数据条带被分割成16个数据块和2个校验块。这些块被以小数据块的形式，智能地分散到集群中所有可用的节点或预定义的故障域（如服务器机架）中 9。这种设计的精妙之处在于，随着集群规模的扩大，可用于分散条带的节点数量急剧增加，从而指数级地降低了单点或多点故障对数据可用性的影响。一个具体的例子是：在一个20节点的集群中，一个18（16+2）的条带可能有190种组合方式；而当集群扩展到25个节点时，可能的组合方式激增至480,700种 9。这意味着单个节点故障对每个条带的影响被极大地稀释了。
• 大规模并行重建（Massively Parallel Rebuilds）：这是NeuralMesh自愈（Self-healing）能力的核心。当一个节点或硬盘发生故障时，系统不会依赖少数几个备用节点（Hot Spare）进行数据重建。相反，集群中所有健康的节点上的所有可用CPU核心都会参与到重建计算中，并行地读取幸存的数据块和校验块，以恢复丢失的数据 9。这种“全员参与”的并行机制使得数据重建速度极快，通常在“分钟级别而非小时级别”完成 3。更重要的是，重建速度与集群规模成正比：一个100节点的集群在单点故障后的重建速度，几乎是一个50节点集群的两倍 9。
• 优先级恢复流程（Prioritized Recovery Process）：在发生多点故障的复杂情况下，NeuralMesh会智能地对恢复任务进行排序。系统会优先重建那些风险最高的数据条带——即受到最多故障组件影响的条带。因为这类条带数量最少，可以被迅速恢复，从而快速将整个系统的数据保护水平恢复到安全状态。之后，系统才会处理受影响较少的其他条带 9。

故障检测与恢复流程

下图详细描述了WEKA系统从检测到故障到完成恢复的完整流程，整合了其多层保护机制。

图片

2.2. 加速AI数据管道：量化分析

架构的优越性最终需要通过实际应用效果来验证。WEKA与Stability AI的合作案例，为我们提供了一个清晰的量化视角，展示了NeuralMesh如何显著加速AI数据处理流程。

• 案例研究：Stability AI的挑战与成果 在采用WEKA之前，Stability AI使用传统的Lustre文件系统来支持其云上的AI模型训练。他们面临两大严峻挑战：一是存储系统的性能瓶颈导致GPU利用率低下；二是随着数据量爆炸式增长，云存储成本失控 15。

在迁移到WEKA平台后，其关键性能指标（KPI）得到了戏剧性的改善。这些成果不仅证明了WEKA的性能，更重要的是，它们直接指向了AI业务的核心价值——效率和成本。

• 关键创新：增强内存网格（Augmented Memory Grid, AMG） 除了在训练方面的优化，WEKA还针对AI推理中的一个核心痛点——“上下文窗口”（Context Window）问题，推出了增强内存网格（AMG）技术 9。

大型语言模型（LLM）在推理时，需要加载大量的历史对话或上下文信息（KV Cache），这些信息往往会超出单块GPU的板载高带宽内存（HBM）容量，导致需要频繁地重新计算，严重影响响应速度 19。 AMG技术巧妙地将GPU内存扩展到了WEKA的高性能存储网格上，允许模型将庞大的KV Cache存放在WEKA存储中，并在需要时以接近内存的速度高速调取。

这项技术带来的效果是惊人的：在处理一个包含105,000个令牌的上下文时，AMG将“首个令牌生成时间”（Time to First Token）缩短了41倍 18。这表明，WEKA不仅仅是解决了“存储”问题，而是正在将其数据平台转变为AI计算结构中一个活跃的、用于扩展内存的组件。 这种转变也揭示了一个重要的观点：在AI时代，衡量存储性能的最终标准不再是孤立的IOPS或吞吐量，而是GPU利用率。这一指标综合反映了从数据准备到计算的整个端到端流程的效率，直接关系到企业在AI基础设施上投资回报率的高低 7。

3. 竞争格局与未来演进

要全面理解NeuralMesh，必须将其置于更广阔的市场和技术发展趋势中进行考察。本节将分析其竞争定位，并探讨其未来的技术演进方向。

3.1. AI存储竞技场：对比分析

AI工作负载的独特需求，使得传统存储架构（如SAN和NAS）显得力不从心。它们的局限性主要体现在：高延迟的网络协议、难以应对大规模并行读写需求的中心化控制器、以及在扩展性和性能上的瓶颈 21。这为新一代AI原生存储解决方案的崛起创造了机会。目前，市场上主要的竞争者包括WEKA、VAST Data和Pure Storage。

从对比中可以看出，这三家厂商采取了不同的战略定位。Pure Storage作为成熟的企业存储供应商，其优势在于稳定可靠和简化的管理体验。VAST Data的愿景是构建一个统一的数据平台，通过创新的数据缩减技术降低全闪存的成本，以“广度”取胜。而WEKA则选择了“深度”路线，专注于为最严苛、对延迟最敏感的AI工作负载提供极致性能，其战略核心是成为AI计算结构中不可或缺的一部分，而不仅仅是一个外部存储系统。

3.2. 下一个前沿：AI原生存储的演进轨迹

NeuralMesh的未来发展方向，将与整个AI生态系统的演进紧密相连。

• 深度生态系统集成：在AI领域，与领导者NVIDIA的深度集成是成功的必要条件。WEKA已获得NVIDIA DGX SuperPOD、NVIDIA-Certified Systems等多项认证，并与NVIDIA AI数据平台参考设计集成 18。这确保了其解决方案能够与最先进的AI计算平台无缝协作，发挥最大效能。
• CXL的远景：迈向真正的内存解耦：展望未来，计算快递链接（Compute Express Link, CXL）协议的成熟将是数据中心架构的下一个重大变革。CXL是一个开放标准的高速互联协议，允许CPU、加速器和内存之间实现缓存一致性连接 32。

CXL 2.0及更高版本支持内存池化（Memory Pooling）和内存共享（Memory Sharing），这意味着未来数据中心的内存资源可以从CPU解耦，形成一个可被动态分配和组合的共享资源池 33。这将彻底打破当前服务器中内存容量和带宽受限于物理插槽的“围墙花园”困境。

这一趋势与WEKA的演进方向不谋而合。NeuralMesh的软件定义网格架构和AMG技术，实际上是CXL所描绘的未来图景的早期探索。AMG通过高速网络将存储模拟为内存扩展，而CXL则将在硬件层面实现这一愿景。当CXL硬件普及时，真正的价值将体现在能够高效管理、调度和呈现这些解耦内存资源的软件层。NeuralMesh现有的分布式、低延迟、智能化的数据编排能力，使其天然地适合扮演未来CXL Fabric管理平台的角色。这预示着WEKA的技术路线图将从一个高性能存储平台，演进为一个AI时代的数据和内存结构（Data/Memory Fabric）的智能核心。

4. 结论

WEKA NeuralMesh不仅仅是对传统存储的提速，它是一个为应对AI“推理时代”的独特挑战而全新设计的软件定义数据平台。其核心技术——微服务架构、动态网格拓扑和端到端优化的低延迟数据路径——共同构建了一个能够随规模增长而愈发强大和坚韧的“反脆弱”系统。

通过创新的分布式数据保护和大规模并行自愈机制，NeuralMesh在提供极致性能的同时，确保了前所未有的高可用性，将故障恢复时间从数小时缩短至数分钟。Stability AI的案例研究以无可辩驳的量化数据证明了该平台的商业价值：通过将GPU利用率提升至93%，它直接解决了AI基础设施中最昂贵的成本瓶颈，从而显著加速了模型训练并降低了总体拥有成本。

在竞争激烈的AI存储市场中，NeuralMesh凭借其对极致性能和低延迟的专注，确立了其在最苛刻工作负载领域的领导地位。其未来演进方向清晰地指向了与计算和内存的更深度融合。随着CXL等技术的发展，NeuralMesh有望从一个数据平台演变为一个更广义的数据与内存编排结构的核心，这不仅是其技术发展的必然路径，也将是其在未来AI数据中心架构中保持核心竞争力的关键所在。对于正在为大规模AI部署评估基础设施的技术决策者而言，理解NeuralMesh的架构哲学及其对整个AI数据流的影响，至关重要。

===

参考资料

1. WEKA Introduces NeuralMesh: An Intelligent, Adaptive Foundation For AI Innovation, Purpose-Built for The Age of Reasoning - PR Newswire, accessed on June 28, 2025, https://www.prnewswire.com/il/news-releases/weka-introduces-neuralmesh-an-intelligent-adaptive-foundation-for-ai-innovation-purpose-built-for-the-age-of-reasoning-302483154.html
2. WEKA Introduces NeuralMesh: An Intelligent, Adaptive Foundation For AI Innovation, Purpose-Built for The Age of Reasoning - PR Newswire, accessed on June 28, 2025, https://www.prnewswire.com/apac/news-releases/weka-introduces-neuralmesh-an-intelligent-adaptive-foundation-for-ai-innovation-purpose-built-for-the-age-of-reasoning-302483163.html
3. AI World Congress 2025: WEKA Introduces NeuralMesh SDS Solution - StorageNewsletter, accessed on June 28, 2025, https://www.storagenewsletter.com/2025/06/19/ai-world-congress-2025-weka-introduces-neuralmesh-sds-solution/
4. WEKA Introduces NeuralMesh: An Intelligent, Adaptive Foundation For AI Innovation, Purpose-Built for The Age of Reasoning, accessed on June 28, 2025, https://www.weka.io/company/weka-newsroom/press-releases/weka-introduces-neuralmesh/
5. Research Brief: WEKA NeuralMesh, a Micro-Services-based AI Data Architecture, accessed on June 28, 2025, https://nand-research.com/research-brief-weka-neuralmesh-a-micro-services-based-ai-data-platform/
6. WEKA Unveils NeuralMesh for Microsecond AI Response - TechArena, accessed on June 28, 2025, https://www.techarena.ai/content/weka-unveils-neuralmesh-for-microsecond-ai-response
7. Fit for Purpose: GPU Utilization - WEKA, accessed on June 28, 2025, https://www.weka.io/blog/gpu/fit-for-purpose-gpu-utilization/
8. Scalable Storage & AI Infrastructure Capabilities - WEKA, accessed on June 28, 2025, https://www.weka.io/product/capabilities/
9. WEKA builds NeuralMesh architecture for exascale AI workloads ..., accessed on June 28, 2025, https://blocksandfiles.com/2025/06/18/weka-builds-neuralmesh-for-exascale-ai/
10. WEKA Introduces Adaptive Mesh Storage System for Agentic AI Workloads - HPCwire, accessed on June 28, 2025, https://www.hpcwire.com/off-the-wire/weka-introduces-adaptive-mesh-storage-system-for-agentic-ai-workloads/
11. High-Performance Storage for NVIDIA Cloud Partners - WEKA, accessed on June 28, 2025, https://www.weka.io/resources/reference-architecture/high-performance-storage-for-nvidia-cloud-partners/
12. Ultra Fast Data Platform That's Redefining Performance Efficiency ..., accessed on June 28, 2025, https://www.weka.io/blog/ai-ml/ultra-fast-data-platform-thats-redefining-performance-efficiency/
13. The WEKA® Data Platform: The High-Performance Solution Redefining HPC and AI Workloads, accessed on June 28, 2025, https://www.weka.io/resources/%20/the-weka-data-platform-the-high-performance-solution-redefining-hpc-and-ai-workloads/
14. WEKA system functionality features | W E K A, accessed on June 28, 2025, https://docs.weka.io/weka-system-overview/about/weka-system-functionality-features
15. Stability AI - WEKA, accessed on June 28, 2025, https://www.weka.io/customers/stability-ai/
16. Faster, More Affordable AI Training in the Cloud - WEKA, accessed on June 28, 2025, https://www.weka.io/resources/case-study/faster-more-affordable-ai-training-in-the-cloud/
17. Weka - AWS Partner Solutions Finder, accessed on June 28, 2025, https://partners.amazonaws.com/partners/0010L00001kWEwHQAW/WekaIO
18. WEKA Expands NVIDIA Integrations and Certifications, Unveils Augmented Memory Grid at GTC 2025, accessed on June 28, 2025, https://www.weka.io/company/weka-newsroom/press-releases/weka-unveils-nvidia-integrations-and-certifications-at-gtc-2025/
19. How WEKA and VAST are tackling AI memory bottlenecks - Blocks and Files, accessed on June 28, 2025, https://blocksandfiles.com/2025/02/26/weka-vast-data-and-tokenomics/
20. WEKA Expands NVIDIA Integrations and Certifications, Unveils Augmented Memory Grid at GTC 2025 - PR Newswire, accessed on June 28, 2025, https://www.prnewswire.com/il/news-releases/weka-expands-nvidia-integrations-and-certifications-unveils-augmented-memory-grid-at-gtc-2025-302403994.html
21. SAN vs NAS Storage: Key Differences, Benefits & Limitations | Crystal Group, accessed on June 28, 2025, https://www.crystalrugged.com/knowledge/san-vs-nas-differences-benefits-limitations/
22. NAS vs. SAN - What Are the Differences Between Them - Backblaze, accessed on June 28, 2025, https://www.backblaze.com/blog/whats-the-diff-nas-vs-san/
23. AI Storage And Servers: Meeting The Demands Of Artificial Intelligence - StoneFly, Inc., accessed on June 28, 2025, https://stonefly.com/blog/artificial-intelligence-ai-storage-requirements/
24. VAST Data Universal Storage - The Futurum Group, accessed on June 28, 2025, https://futurumgroup.com/wp-content/uploads/documents/EGPR_Vast_Data-4.pdf
25. Comparison of WEKA, VAST and Pure storage : r/HPC - Reddit, accessed on June 28, 2025, https://www.reddit.com/r/HPC/comments/1g3fzq2/comparison_of_weka_vast_and_pure_storage/
26. Vast Data vs. Pure Storage: Comparison, accessed on June 28, 2025, https://www.purestorage.com/products/others-comparison.html
27. VAST DataStore: AI Engineered, Secure and Scalable Data Storage, accessed on June 28, 2025, https://www.vastdata.com/platform/datastore
28. VAST Data Platform: AI-Powered Discovery Engine, accessed on June 28, 2025, https://www.vastdata.com/platform/overview
29. AI Storage and Infrastructure Solutions, accessed on June 28, 2025, https://www.purestorage.com/solutions/ai.html
30. Storage for AI Workloads: Ceph, VAST, and WEKA | WhiteFiber, accessed on June 28, 2025, https://www.whitefiber.com/blog/ai-storage-ceph-vast-weka
31. Accelerate AI with NeuralMesh™: An Adaptive Storage System Built for AI - WEKA, accessed on June 28, 2025, https://www.weka.io/
32. Compute Express Link - Wikipedia, accessed on June 28, 2025, https://en.wikipedia.org/wiki/Compute_Express_Link
33. OPPORTUNITIES AND CHALLENGES FOR COMPUTE EXPRESS LINK (CXL), accessed on June 28, 2025, https://computeexpresslink.org/wp-content/uploads/2024/11/CR-CXL-101_FINAL.pdf
34. An Introduction to Compute Express Link (CXL) - MemVerge, accessed on June 28, 2025, https://memverge.com/wp-content/uploads/2022/10/CXL-Forum-Wall-Street_MemVerge.pdf

延伸思考

1. 文章提到NeuralMesh的韧性会随规模增长而增强，这与传统存储系统形成对比。在实际部署中，这种“反脆弱”特性可能带来哪些运维或成本上的新考量？
2. 增强内存网格（AMG）技术将存储模拟为内存扩展，而CXL协议将在硬件层面实现内存解耦。您认为在CXL硬件普及后，WEKA的软件层将如何进一步演进，以最大化利用解耦内存资源的价值？
3. WEKA、VAST Data和Pure Storage在AI存储市场采取了不同的战略。考虑到AI工作负载的多样性（从训练到推理，从边缘到云），未来哪种架构范式（极致性能、统一平台、企业级可靠性）可能更具普适性或竞争力？

Notice：Human's prompt,  Datasets by Gemini-2.5-Pro-DeepResearch

#WEKA_IO #高性能存储系统