RDMA是常用于高性能计算(HPC)领域的高速网络，在存储网络等专用场景也有广泛的用途。RDMA最大的特点是通过软硬件配合，在网络传输数据的时候，完全不需要CPU/内核参与，从而实现高性能的传输网络。最早RDMA要求使用InfiniBand (IB)网络，采用专门的IB网卡和IB交换机。现在RDMA也可以采用以太网交换机，但是还需要专用的IB网卡。虽然也有基于以太网卡用软件实现RDMA的方案，但是这种方案没有性能优势。
传统TCP/IP技术处理数据包需通过操作系统和其他软件层，导致数据在系统内存、处理器缓存和网络控制器缓存间频繁复制，增加了服务器CPU和内存的负担，特别是在网络带宽、处理器速度与内存带宽不匹配时，网络延迟会进一步加剧。RDMA技术通过将数据处理从CPU旁路并卸载到硬件上来实现低时延和高带宽特性。
Linux API 头文件（在 linux-3.19.tar.xz 里）会将内核 API 导出给 Glibc 使用。
https://docs.nvidia.com/doca/sdk/erasure-coding-programming-guide/index.html
随着互联网, 人工智能等兴起, 跨机通信对带宽和时延都提出了更高的要求, RDMA技术也不断迭代演进, 如: RoCE(RDMA融合以太网)协议, 从RoCEv1 -> RoCEv2, 以及IB协议, Mellanox的RDMA网卡cx4, cx5, cx6/cx6DX, cx7等, 本文主要基于CX5和CX6DX对RoCE技术进行简介, 一文入门RDMA和RoCE有损及无损关键技术
HowTo Install MLNX_OFED Driver 如何安装MLNX_OFED驱动
当今的数据中心由数千台网络连接的主机组成，每台主机都配有 CPU 和 GPU 和 FPGA 等加速器。 这些主机还包含以 100Gb/s 或更高速度运行的网络接口卡 (NIC)，用于相互通信。 我们提出了 RecoNIC，这是一种基于 FPGA、支持 RDMA 的 SmartNIC 平台，旨在通过使网络数据尽可能接近计算来加速计算，同时最大限度地减少与数据副本（在以 CPU 为中心的加速器系统中）相关的开销。 由于 RDMA 是用于改善数据中心工作负载通信的事实上的传输层协议，因此 RecoNIC 包含一个用于高吞吐量和低延迟数据传输的 RDMA 卸载引擎。 开发人员可以在 RecoNIC 的可编程计算模块中灵活地使用 RTL、HLS 或 Vitis Networking P4 来设计加速器。 这些计算块可以通过 RDMA 卸载引擎访问主机内存以及远程对等点中的内存。 此外，RDMA 卸载引擎由主机和计算块共享，这使得 RecoNIC 成为一个非常灵活的平台。 最后，我们为研究社区开源了 RecoNIC，以便能够对基于 RDMA 的应用程序和用例进行实验
导语 | 本文介绍了部分高性能网络方案，包括RDMA、HARP、io_uring等。从技术原理、落地可行性等方面，简要地做出分析，希望能对此方面感兴趣的开发者提供一些经验和帮助。 一、背景 业务中经常会有这样的场景： 随着网卡速率的提升（10G/25G/100G），以及部分业务对低延迟的极致追求（1ms/50us），目前的内核协议栈由于协议复杂、流程复杂、设计陈旧等因素，已经逐渐成为业务瓶颈。 业界已经有部分RDMA、DPDK的实践，但是对于大多数开发者而言，依然比较陌生。 那么这些方案各自的场景究竟怎样？
博客: https://logread.cn | https://blog.csdn.net/ssbandjl | https://cloud.tencent.com/developer/user/5060293/articles
【infiniband】 MAD、 uMAD、Verbs、RDMACM: https://blog.csdn.net/eidolon_foot/article/details/132840943
HMM: 异构内存管理(Heterogeneous Memory Management)
分布式系统利用卸载来减少 CPU 负载变得越来越流行。远程直接内存访问 (RDMA) 卸载尤其变得流行。然而，RDMA 仍然需要 CPU 干预来处理超出简单远程内存访问范围的复杂卸载。因此，卸载潜力是有限的，基于 RDMA 的系统通常必须解决这些限制。 我们提出了 RedN，这是一种原则性的、实用的方法，可以实现复杂的 RDMA 卸载，无需任何硬件修改。使用自修改 RDMA 链，我们将现有的 RDMA 动词接口提升为图灵完备的编程抽象集。我们探索使用商用 RDMA NIC 在卸载复杂性和性能方面的可能性。我们展示了如何将这些 RDMA 链集成到应用程序中，例如 Memcached 键值存储，从而使我们能够卸载复杂的任务，例如键查找。与使用单侧 RDMA 原语（例如 FaRM-KV）的最先进的 KV 设计以及传统的 RPC-over-RDMA 方法相比，RedN 可以将键值获取操作的延迟减少高达 2.6 倍。此外，与这些基准相比，RedN 提供性能隔离，并且在存在争用的情况下，可以将延迟减少高达 35 倍，同时为应用程序提供针对操作系统和进程崩溃的故障恢复能力。
官方文档: https://openucx.readthedocs.io/en/master/
其中，第六次危机——DPDK与SPDK提前征收云数据中心税，霸占大量可售卖CPU资源引起的危机，引发了云计算的一次大革命。
用户空间直接访问 (UDA) 旨在以通用方式提供用户空间访问队列，但 E810 不支持此功能。 UDA 仅在内核中可用，并且仅限于 iWARP 连接设置和错误处理。 UDA 在用户空间中不可用
这篇文章描述了通过 PCI Express 结构在 CPU 和 NIC 之间发生的一系列协调事件，以通过 InfiniBand 互连传输消息并发出其完成信号。
rdma_rxe 内核模块提供 RoCEv2 协议的软件实现。 RoCEv2 协议是存在于 UDP/IPv4 或 UDP/IPv6 之上的 RDMA 传输协议。 InfiniBand (IB) 基本传输标头 (BTH) 封装在 UDP 数据包中。 创建 RXE 实例后，通过 RXE 进行通信与通过任何 OFED 兼容的 Infiniband HCA 进行通信相同，尽管在某些情况下会涉及寻址问题。 特别是，虽然 GRH 标头的使用在 IB 子网中是可选的，但对于 RoCE 来说是强制性的。 基于 IB 动词编写的动词应用程序应该可以无缝工作，但它们需要在创建地址向量时提供 GRH 信息。 修改库和驱动程序以提供硬件所需的从 GID 到 MAC 地址的映射
摩尔定律被硅芯片物理极限限制->多核技术推动虚拟化大规模应用->数据中心网络大规模虚拟机入网；
该驱动程序通过 Linux 网络堆栈实现 InfiniBand RDMA 传输。 它使具有标准以太网适配器的系统能够与 RoCE 适配器或运行 RXE 驱动程序的另一个系统进行互操作。 有关 InfiniBand 和 RoCE 的文档可以从 www.infinibandta.org 和 www.openfabrics.org 下载。 （另请参见 siw，它是 iWARP 的类似软件驱动程序。）该驱动程序分为两层，一层与 Linux RDMA 堆栈接口，并实现内核或用户空间动词 API。 用户空间动词 API 需要一个名为 librxe 的支持库，该支持库由通用用户空间动词 API libibverbs 加载。 另一层与第 3 层的 Linux 网络堆栈接口。要配置和使用 soft-RoCE 驱动程序，请使用“配置 Soft-RoCE (RXE)”部分下的以下 wiki 页面：https://github.com/linux-rdma/rdma-core/blob/master/Documentation/rxe.md
5月31日，网络互联芯片提供商云脉芯联正式发布自主研发的国内首款多场景RDMA智能网卡(DPU)产品——xFusion50。 目前，随着数字经济的飞速发展，数据中心已成为支撑和释放CPU算力的重要基础设施，承载着各类数字技术的应用。高性能网络作为数据中心的算力底座，在数据中心架构演进过程中扮演着重要角色，随着摩尔定律放缓，多样性异构算力的崛起，如何通过降低网络延迟提升数据中心集群算力性能指标，满足Serverless云原生算力需求，面临着诸多技术挑战，如： TCP/IP网络协议栈导致收发报文时延过大，无法满
第一届「中国云计算基础架构开发者大会」（以下简称 CID）将在 2020 年 10 月 25 日举办。会中看到有新硬件PM结合RDMA的议题，这是数据库方面前沿技术，对下一代数据库发展有重要影响。听后进行总结。
NVMe over Fabrics (NVMe-oF) 是 NVMe 网络协议对以太网和光纤通道的扩展，可在存储和服务器之间提供更快、更高效的连接，并降低应用程序主机服务器的 CPU 利用率
计算机网络通信中最重要两个衡量指标主要是 带宽 和 延迟。分布式训练中需要传输大量的网络模型参数，网络通信至关重要。
作者：The Next Platform联合主编Timothy Prickett Morgan 远程过程调用（RPC）可能是现代计算发展史上最重要的一项发明。能够从一个运行中的程序发起通信，并激活另一组代码执行某项任务（获取数据或以某种方式处理数据），这本身是一个强大而普遍的概念，并催生了模块化编程和微服务的崛起。 当下，在与昔日的整体式代码截然不同的环境，代码块与跨集群运行的系统各组件之间的延迟至关重要。而缩短这个延迟从未如此艰难。但是斯坦福大学和普渡大学的一些追求创新的研究人员已提出了一种协同设计的
SSD正在迅速扩展它在数据中心中的份额，同旋转介质（HHD）相比，当前的闪存在性能、功耗和机架密度上具有明显优势，随着下一代媒介进入市场，这些优势将持续扩大。
2019 年 9 月 3 日 ，Mellanox 宣布隆重推出 ConnectX-6 Dx 和 BlueField-2 – 新一代云Smart NIC 和 I/O 处理单元 (IPU) 解决方案，旨在大规模处理各类工作负载时实现无与伦比的数据中心安全性、性能和效率。
使用 GPU 进行网络数据包内联处理是一种数据包分析技术，可用于许多不同的应用领域：信号处理、网络安全、信息收集、输入重建等。
DAOS在后傲腾时代的发展策略: https://www.bilibili.com/video/BV1Qw411377s
IB（InfiniBand）和 RDMA（Remote Direct Memory Access）是一种高性能网络技术，通常用于加速数据传输。它们不是基于传统的 TCP/IP 协议栈，而是使用自己的协议栈，以实现低延迟、高带宽的数据传输。
从计算机诞生伊始，“计算”这个词汇便随着时代的变迁不断丰富着自己的内涵，IT从业者为了提高计算效率也给“计算”赋予了更多载体，高性能计算、云计算、量子计算都在通过各个领域为计算赋能。时代发展离不开网络，本文要讨论的话题就是——网络如何与计算融合。
摘要：数据中心网络协议栈正在转向硬件，以在低延迟和低CPU利用率的情况下实现100 Gbps甚至更高的数据速率。但是，NIC中络协议栈的硬连线方式扼杀了传输协议的创新。本文通过设计Tonic（一种用于传输逻辑的灵活硬件架构）来实现高速网卡中的可编程传输协议。在100Gbps的速率下，传输协议必须每隔几纳秒在NIC上仅使用每个流状态的几千比特生成一个数据段。通过识别跨不同传输协议的传输逻辑的通用模式，我们为传输逻辑设计了一个高效的硬件“模板”，该模板在使用简单的API编程的同时可以满足这些约束。基于FPGA的原型系统实验表明，Tonic能够支持多种协议的传输逻辑，并能满足100Gbps背靠背128字节数据包的时序要求。也就是说，每隔10 ns，我们的原型就会为下游DMA流水线的一千多个活动流中的一个生成一个数据段的地址，以便获取和传输数据包。
RDMA（Remote Direct Memory Access）远程直接内存访问是一种技术，它使两台联网的计算机能够在主内存中交换数据，而无需依赖任何一台计算机的处理器、缓存或操作系统。与基于本地的直接内存访问 ( DMA ) 一样，RDMA 提高了吞吐量和性能，因为它可以释放资源(如cpu)，从而加快数据传输速率并降低延迟。在大规模并行计算机集群中特别有用，比如分布式存储，超算中心。
IDC数据2023年最新的数据报告显示，预计2026年我国主要网络设备市场规模将达170.56 亿美元，较2020年增长 65.34％，2020－2026年 CAGR达 8.74％。其中，我国25G／100G 数据中心交换机的市场规模将由2017年的1.08亿美元增长至 2024年的 25.13 亿美元，CAGR高达 56.86％；另据 Dell’Oro Group预测，未来 400G及以上速率交换机将成为市场主流。
FOSDEM 2023[1] 是软件开发人员见面、分享想法和协作的免费活动。每年，来自世界各地的数千名自由和开源软件开发人员齐聚布鲁塞尔。你不需要注册。只需出现并加入！
个人理解nvme能提高存储性能，就像4G比3G快一样，电磁波还是光速，但协议变了，所以快了。rdma应用跑在用户态能减小存储时延，spdk在用户态实现nvme驱动，天然能和rdma结合，而且两者的队列能一一映射，能达到锦上添花的效果。坏处就是kernel upstream实现的nvme代码无法复用，网卡硬件得支持rdma，rdma的库很多，出了问题估计会有找不得北的感觉。
在《局域网SDN硬核技术内幕》的开篇中，我们提到过，在云资源池中，存在着很多很多的虚拟机。
本文是论文No compromises: distributed transactions with consistency, availability, and performance的读书笔记，水平有限，未能很好的读懂，惭愧。
在第三届未来网络发展大会SDN/NFV技术与应用创新分论坛上中国银联电子商务与电子支付国家工程实验室周雍恺博士，发表了主题为《开放交换机组网技术和前沿进展》的主题演讲。
在数据为王的时代，人们对网络的要求更加严苛。然而传统的TCP / IP以太网连接占用了大量的CPU资源，并且需要额外的数据处理，已无法再满足当前更快、更高效和可扩展性的网络需求。在这种情况下，RoCE（RDMA over Converged Ethernet ）走进了人们的视野。
对 Falcon协议 感兴趣的同学，点赞和在看后，在公众号后台回复“tooyum130”可以获取下载地址。
在一个庞大机房的角落里， 存放着一台普普通通的服务器。 每天一开机，里边的居民就开始忙活起来了。 大家都要在操作系统老大的指挥下干活。 日子一天天地过去，这一天，大家正在干活，外边突然传来了咔嗒一声。 CPU阿甘很快掌握了拆箱子、装箱子的技巧，他变得非常熟练，乐在其中。 可是好景不长，IT系统很快进入分布式时代。 一个系统后面往往有数百台甚至数千台服务器在支撑，服务器之间需要频繁地交流。 网络通信的性能成为关键。 而阿甘发现，数据包太多， 自己在拆箱子、装箱子上已经力不从心了。
在上一期中，我们介绍了如何在虚拟化环境中，利用SPDK和vHost来充分发挥本地NVMe盘的性能。但是，当虚拟化进化到云计算时代，更多的场景是使用云网络中的远端云盘(虚拟化块存储)。
作者 | 核子可乐、钰莹 四十年过去了，此番新协议的出炉也许又将掀起一波变革浪潮...... 作为过去四十年间最根深蒂固的标准之一，大家耳熟能详的传输控制协议（TCP）没准即将走向生命周期的终点。而这波变革的起点，应该会从全球规模最大的数据中心应用场景开始。但对于其他日常应用场景来说，哪怕有望把消息传递速度提升 100 倍，似乎也无法抵偿协议转变带来的巨大麻烦。 不过从历史经验来看，一切曾经专属于超大规模企业的技术优势，最终都将为中型 IT 部门所用。所以……我们不妨拭目以待。 1 TCP 协议不适
RDMA CM 是一种通信管理器，用于设置可靠、连接和不可靠的数据报数据传输。 它提供用于建立连接的 RDMA 传输中立接口。 API 概念基于套接字，但适用于基于队列对 (QP) 的语义：通信必须通过特定的 RDMA 设备进行，并且数据传输基于消息。 RDMA CM 可以控制 RDMA API 的 QP 和通信管理（连接建立/拆除）部分，或者仅控制通信管理部分。 它与 libibverbs 库定义的 verbs API 结合使用。 libibverbs 库提供了发送和接收数据所需的底层接口。 RDMA CM 可以异步或同步操作。 用户通过在特定调用中使用 rdma_cm 事件通道参数来控制操作模式。 如果提供了事件通道，rdma_cm 标识符将报告该通道上的事件数据（例如连接结果）。 如果未提供通道，则所选 rdma_cm 标识符的所有 rdma_cm 操作将被阻止，直到完成。 RDMA CM 为不同的 libibverbs 提供商提供了一个选项来宣传和使用特定于该提供商的各种 QP 配置选项。 此功能称为 ECE（增强连接建立）
我们在做网络服务器的时候，通常会很关心网络的带宽和延迟。因为我们的很多协议都是request-reponse协议，延迟决定了最大的QPS，而带宽决定了最大的负荷。 通常我们知道自己的网卡是什么型号，交换机什么型号，主机之间的物理距离是多少，理论上是知道是知道带宽和延迟是多少的。但是现实的情况是，真正的带宽和延迟情况会有很多变数的，比如说网卡驱动，交换机跳数，丢包率，协议栈配置，光实际速度都很大的影响了数值的估算。 所以我们需要找到工具来实际测量下。 网络测量的工具有很多，netperf什么的都
NSDI 的全称是 Networked Systems Design and Implementation，是 USENIX 旗下的旗舰会议之一，也是计算机网络系统领域久负盛名的顶级会议。与网络领域的另一顶会 SIGCOMM 相比，NSDI 更加侧重于网络系统的设计与实现。
beegfs客户端在不同发行版上支持的OFED版本是不同的，像我在ubuntu2004上发现beegfs对我手上的MCX353A-FCBT并不支持，因为MCX353A-FCBT是相对比较旧的网卡，从从MLNX_OFED 5.1开始，就不再继续支持了。要查询发行版本对你的网卡的支持，可以查看下述信息：
题图摄于北京金融街 相关信息： 招聘云原生工程师 使用Bitfusion在K8s上共享GPU资源 本文作者：尹皓正 - VMware中国研发中心云原生实验室开发工程师 背景介绍： PVRDMA (Paravirtual RDMA)：VMware 对于 RDMA 技术的半虚拟化实现，vSphere 会在虚机中提供 PVRDMA 虚拟网卡，再通过 VMkernel 中的 PVRDMA 堆栈来访问 HCA（Host Channel Adapter，主机通道适配器），这种方式可以让多个虚机共享 HCA 设备
前段时间，sudo被曝不要密码就可进行root提权的漏洞引起一片哗然，众多公司纷纷连夜打补丁来避免损失。FreeBuf也对此进行了相应的报道《不用密码就能获取root权限？sudo被曝新漏洞》。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
