下一代IO虚拟化技术

‍‍大家好，我是cloud3，今天再聊聊虚拟化的事。

在Intel最新至强Sapphire Rapids处理器中有个新的feature引起了我的注意，它叫SIOV。

于是翻了翻Intel的spec技术规范，呵呵，看来在IO虚拟化的路上，这是又要迈上一大步了。

SIOV它的全称是Scalable I/O Virtualization，被称为是下一代IO虚拟化的解决方案。并且在今年3月，英特尔和微软已经一起向开放计算项目（OCP）提交了技术规范。

聊聊这个SIOV是什么

在IO虚拟化的演进过程中，

以Intel的vt-d为代表的设备的透传技术解决了IO的性能问题，

以SR-IOV技术为代表的IO共享技术进一步解决了设备的共享问题。

近十几年来，SR-IOV一直是虚拟机访问IO设备的最优选择。

但是SRIOV有些天生的缺陷。

首先，支持的虚拟IO设备很少，理论上一个PCIe设备最多只能虚拟出256个VF设备给虚拟机用。

其次，由于是绑定VF给虚拟机，虚拟机无法热迁移。

最后，就是硬件设备出厂时就决定了它支持多少个VF，在使用过程中不支持动态的资源分配。虚拟化堆栈的I/O管理灵活性非常差。

这怎么能应对接下来超大规模IO虚拟化的需求呢，可能就是SIOV了。

SIOV是为超大规模时代设计的硬件辅助I/O虚拟化，有可能在每台服务器上支持成千上万的虚拟化工作负载。SIOV有很多特点，例如：

SIOV的具体细节

SIOV涉及到三个层次，PCIe设备层、平台层和软件层。

硬件层

在PCI硬件设备上提出了一种叫ADI（Assignable Device Interfaces）的概念。

ADI类似于SR-IOV中的VF，不同于VF的是所有的ADI共享同一个PF的BDF号、pci配置空间和BAR空间。

ADI就作为一种独立的单元进行分配、配置和组织的一组后端资源，一个ADI对应一组后端资源，并且可以任意划分资源给ADI。

以前是分配VF给虚拟机，现在是分配ADI。

硬件上的支持情况可以通过PCIe的配置空间查到，要查设备是否支持SIOV技术，intel定义了一个Designated Vendor Specific Extended Capability (DVSEC) 域用于发现和配置支持Scalable IOV技术的设备：

平台层

在设备层添加了ADI之后，在平台层主要就要解决ADI的中断、ADI的地址空间等问题。

因为同一设备上的AID具有相同的BDF号，为了对让IOMMU能够识别出是哪个AID，在原来BDF号的基础上采用BDF+PASID的方式开区分AID。

PASID（Process Address Space ID）是PCI协议的一个扩展，它不同于传统通过BDF（Bus，Device，Function）来唯一标识一个PCIe设备的方式，而是以BDF+PASID的方式在一个PCIe设备内细分更多的虚拟设备。

DMA重定向硬件将来自于I/O子系统的内存访问请求分为两类：不带PASID的请求和带有PASID的请求，两种请求的区别在此就不细说了。

软件层

硬件和平台都支持SIOV了，在软件层引入了叫做VDCM的模块来进行虚拟资源的分配和管理。他的全称叫Virtual Device Composition Module。

在IO设备的访问上，一般把配置管理的路径叫做慢路径，而把数据传输的路径叫做快路径。在SR-IOV中两种路径都是通过硬件直通的方式完成。

而SIOV将非性能关键的虚拟化和管理逻辑（慢路径）从PCIe设备上移走，进入虚拟化栈。通过VDCM来实现设备的管理和配置。

VDCM主要负责ADI设备的配置管理、将ADI映射给虚拟机、处理慢路径等。

对SIOV的支持，目前Linux内核的上游工作正在进行中，预计将在2022年晚些时候进行整合。

Intel至强Sapphire Rapids处理器已经支持SIOV的feature，Intel以太网800系列网络控制器和未来的PCIe和Compute Express Link（CXL）设备和加速器都将支持SIOV技术。

今天就聊到这。