【存储100问】FC 协议原理与以太网比较

问题意识

前段时间整理了一篇光纤通道（FC）的技术进展，了解到 光纤通道行业协会 依旧保持着每4年更新一代的技术路线，推动技术标准和市场应用稳步前进。

• 128GFC，2022年行业标准确定，2024年具备市场推广能力；
• 256GFC，2025年确定行业标准

由于笔者在云计算行业工作，实话说FC接触到的并不多，反倒是前两年AI训练大热期间的IB网络，还有所耳闻。

长期以来，对FC技术的了解，来自于企业专用存储SAN，在集中式存储方案中常绑定FC作为组网基础，近几年传统存储厂商（DELL/HPE）逐渐退出中国市场，集中式存储供应商也逐渐出现基于高速以太网（100/25GbE）的方案。

组织本文的出发点是：作为两种组网方案（FC vs 以太网），区分云服务和企业级场景，

1. 以64GFC 和100GbE 为锚点，理解两种方案的通信原理；
2. 比较两者通信效率；
3. 企业级存储场景和云存储的比较；

64G 光纤通道：专为存储区域网络而生

A. 协议栈与机制

光纤通道协议（FC）是一个由五个层组成的传输协议：FC-0、FC-1、FC-2、FC-3 和 FC-4 。

• FC-0（物理层）： 这一基础层定义了光纤通道链路的物理特性，包括电缆类型（主要是光纤，但也支持铜缆）、连接器以及数据传输速率和最大距离的标准 。
• FC-1（传输层）： 负责传输编码过程。较旧的光纤通道版本（1GFC 到 8GFC）使用 8B/10B 编码，将 8 位数据转换为 10 位格式。这种编码引入了 20% 的开销，但对于错误检测和同步至关重要。包括 16GFC、32GFC 和 64GFC 在内的新一代高速 FC 已过渡到更高效的编码方案，如 64b/66b 或 256b/257b，显著降低了开销并提高了有效吞吐量。
• FC-2（信令/帧层）： 该层管理数据帧、信令以及传输机制。由于其在定义主要协议和处理端到端传输方面的作用，它常被比作 OSI 模型中的第三层（网络层）。FC-2 定义了多种服务类别：
  • Class 1： 提供专用、面向连接的路径，保证带宽，常用于高优先级、实时数据。
  • Class 2： 一种帧交换、无连接服务，保证数据传输并确认流量接收。
  • Class 3： 一种无连接、一对多帧交换服务，使用缓冲区到缓冲区流控制，但不确认帧传输。
  • 重要的是，光纤通道交换机在 FC2 层运行，根据 FC2 地址转发数据包，类似于 IP 世界中的三层路由器。
• FC-3（公共服务层）： 该层提供公共服务，支持光纤通道网络中的高级功能，如数据条带化和组播功能。
• FC-4（协议映射层）： 作为 FC 协议栈的最上层，FC-4 负责将上层协议（ULP），如 SCSI（小型计算机系统接口）、IP（互联网协议）和 NVMe（非易失性内存高速接口），映射到光纤通道结构上 。光纤通道协议（FCP）特指 SCSI 在 FC 网络上的实现。

图片

光纤通道可靠性的基石是其基于硬件的流控制机制，即缓冲区到缓冲区信用（BB_Credits）。这种机制允许端口精确地控制帧流入其处理缓冲区，从而防止缓冲区饱和并避免交换硬件因拥塞而丢弃帧 。发送端口维护一个可用接收缓冲区（信用）的计数。每发送一个数据帧，信用计数减一。成功接收帧后，接收端口发送一个 R_RDY（接收方就绪）确认，这将使发送方的信用计数增加。如果信用计数达到零，发送端口将暂停进一步的帧传输，直到信用得到补充 。这确保了“无损传输”并“减少了整个光纤通道序列需要重传的频率” 。

光纤通道与以太网在可靠性理念上存在根本差异。光纤通道的 BB_Credit 机制 及其明确保证的“无损和按序数据传输” ，这与以太网“尽力而为的传输模式”  形成鲜明对比。这不仅仅是功能上的差异，更代表了一种根本的架构理念：光纤通道旨在在硬件层面“防止”数据丢失，从而确保确定性性能，而以太网则依赖于更高层协议（如 TCP）来“恢复”数据丢失 。这种理念上的分歧意味着光纤通道本质上提供可预测和一致的性能，这对于即使是最小的数据包丢失或可变延迟也可能导致严重操作问题的应用（如金融交易、同步数据复制、任务关键型数据库）至关重要。以太网虽然能够实现高吞吐量，但引入了一定程度的变数，而光纤通道通过其专用设计旨在消除这种变数。

B. 性能特征

• 名义速度： 64G 光纤通道以每秒 64 千兆位（Gbps）的名义速度运行 。
• 有效吞吐量： 64GFC 的名义吞吐量为 6,400 MB/s 。这通过使用 256b/257b 编码实现，该编码比早期 FC 版本中使用的 8b/10b 编码（20% 开销）效率更高 。
• 延迟： 64GFC 技术提供“超低延迟” 。一项显著的基准测试显示，博科 G710 64G 交换机实现了业界领先的“460 纳秒端口到端口延迟” 。当 64GFC 通过光传输网络（OTN）密集波分复用（DWDM）系统扩展时，端到端延迟通常为 5-25 微秒，此外还包括光速在距离上的贡献 。这种持续的低且可预测的延迟是时间敏感型应用的关键优势 。
• 安全性： 光纤通道的设计提供了强大的安全属性。其独特的寻址方案独立于 IP 路由，使得光纤通道光纤“无法从 IP 网络访问” 。这种隔离保护了光纤免受基于 IP 网络的网络威胁，增强了安全性 。此外，FC 还包含“内置的分区和认证功能” 。对于扩展网络，将独立的 SAN 交换机加密与 DWDM 层 加密相结合，提供了“纵深防御”方法，确保数据即使在某一层被攻破时也能保持安全，并保护所有数据组件，包括元数据 。

图片

光纤通道的隔离特性对其性能和安全性具有深远影响。光纤通道的专用性质和独特的寻址方案意味着存储流量不会与其它通用网络流量竞争。这种固有的隔离直接促成了其一致的低延迟和强大的安全性。它“无法从 IP 网络访问”的事实是其 FC2 转发机制的直接结果，该机制独立于 IP 路由运行，从而显著降低了其暴露于常见网络威胁的风险。这种架构选择为存储光纤本身提供了基础安全层，简化了整体安全态势，并减少了与共享以太网基础设施上仅通过软件定义安全措施相比的攻击面。对于高度敏感的数据，这种固有隔离提供了仅凭软件安全措施难以复制的保护级别。

100GbE 以太网：融合网络骨干

A. 协议栈与机制

• TCP/IP 协议栈： 以太网作为传输控制协议/互联网协议（TCP/IP）栈中的基础链路层运行，该协议栈管理数据在 IP 网络（如互联网）中的传输。TCP/IP 协议栈由四个概念层组成：应用层、传输层、互联网/网络层和链路/物理层。
• 流控制：
  • 以太网 PAUSE (IEEE 802.3x)： 这是一种在全双工以太网环境中使用的链路层流控制机制。当网络设备（例如，交换机或网卡）检测到其缓冲区即将溢出时，它会向发送设备发送一个 PAUSE 帧。此帧包含一个“暂停时间”参数，指示发送方暂时停止所有数据传输指定时长，从而防止缓冲区溢出和数据包丢失。
  • 优先级流控制 (PFC, IEEE 802.1Qbb)： 作为标准以太网 PAUSE 的增强，PFC 允许按优先级进行精细流控制。它利用以太网报头中的 IEEE 802.1p 优先级标签（服务类别 - CoS）或差分服务代码点（DSCP）值将流量分类为多达 8 种不同的优先级类别。当检测到特定优先级类别的拥塞时，PFC 仅针对该优先级发送暂停帧，确保关键流量（例如，存储、以太网上的光纤通道 - FCoE）的无损转发，同时允许其他流量继续尽力而为传输。PFC 是数据中心桥接（DCB）扩展的关键组成部分，以太网网络需要这些扩展才能满足封装 FC 流量时的无损传输要求。
• 错误处理：
  • CRC（循环冗余校验）： 以太网帧（FCS）中的 4 字节字段，用于检测数据传输过程中数字数据的意外更改 。发送方使用多项式除法算法计算校验和并将其附加到帧中。接收方执行相同的计算；如果计算出的校验和与接收到的校验和不匹配，则表示数据已损坏，该帧将被丢弃。CRC 在检测各种类型的错误（包括单比特和突发错误）方面非常高效和有效。
  • TCP 重传： 在传输层，TCP 提供端到端可靠性。如果数据包丢失或损坏（通常通过接收方未发送确认或校验和不匹配来检测），TCP 会启动丢失数据包的重传。
  • 重传超时（RTO）： 如果在计算出的超时时间内未收到已发送数据包的确认，TCP 假定数据包丢失并重新传输。
  • 快速重传： 为避免等待 RTO，TCP 采用快速重传。当发送方收到针对同一数据包的多个（通常是三个）重复确认时，此机制会触发对可疑丢失数据包的更快重传。这种主动方法通过更快地纠正数据包丢失，最大限度地减少延迟并提高拥塞网络中的吞吐量。

以太网实现“无损”传输的复杂性，是一个需要深入理解的问题。以太网在链路层本质上被设计为一种“尽力而为”或“有损”协议，这意味着它不保证数据包的传输，并依赖于更高层协议（如 TCP）进行错误恢复。为了实现光纤通道所固有的“无损”特性，并满足高性能存储应用的需求，以太网需要进行显著增强，例如数据中心桥接（DCB）扩展，特别是优先级流控制（PFC）。实施和配置这些功能会增加相当大的复杂性，并且通常需要专门的、支持 DCB 的硬件 。虽然 100GbE 提供了令人印象深刻的原始带宽和多功能性，但为任务关键型存储工作负载实现与原生光纤通道相当的确定性、无损性能并非简单的“即插即用”。它需要细致的网络设计、精确的配置和特定的硬件支持，这可能会增加运营开销，并可能削弱商品以太网在最苛刻存储环境中感知的成本优势。

B. 性能特征

• 名义速度： 100GbE 提供每秒 100 千兆位（Gbps）的名义速度 。
• 有效吞吐量： 100GbE 通常采用 64b/66b 编码 ，这意味着大约 96.96% 的可用带宽 。这意味着 100GbE 链路可以有效地传输约 97 Gbps 的用户数据。然而，实际有效吞吐量可能会受到各种协议开销（例如，TCP/IP 报头、多端口链路聚合控制协议（LACP）绑定开销）和网络条件的影响 。
• 延迟： 100GbE 网络旨在“显著降低延迟”与旧以太网标准相比 。数据中心环境中 100GbE 的典型延迟约为 3-5 微秒 。这种低延迟对于高频交易、实时分析和基于云的 AI 操作等应用至关重要 。通过远程直接内存访问（RDMA）在融合以太网（RoCE）等技术可以进一步降低延迟，RoCE 绕过内核，实现 90-95% 的效率，尽管通常仍高于 InfiniBand 。

能源效率： 尽管速度很高，100GbE 网络仍被设计为“异常节能”，每传输单位数据消耗更少的电量 1。这部分归因于 IEEE 802.3az 定义的节能以太网（EEE）的实施。EEE 允许物理层（PHY）在数据活动较低期间进入低功耗空闲（LPI）模式，显著降低功耗 。此外，“绿色以太网” 技术可以检测链路状态和电缆长度，以动态调整传输功率，进一步节约能源并可能延长产品寿命，因为热量减少 。

企业存储的当前带宽与网络架构

A. 企业共享存储（本地部署）

• 带宽趋势： 对企业园区和数据中心内高容量、可靠网络解决方案的需求不断增长，这得益于云计算、大数据和虚拟化 。企业 NAS 市场正经历强劲增长，由数据激增、混合云策略和 AI/ML 需求驱动，向更高容量驱动器和更高级网络协议（如 10GbE 及更快）的过渡正在显著提升性能 。光纤通道 SAN 交换机在 2024 年占据了最大的市场份额（56%），预计将成为增长最快的细分市场（12% 复合年增长率）。以太网 SAN 交换机在混合云和 AI/ML 部署中也呈上升趋势（9.1% 复合年增长率），这归因于其成本效益高的可扩展性 。企业服务器正在采用 10GbE 和 100GbE 网络功能 。

图片

• 架构： 企业共享存储通常涉及使用光纤通道的存储区域网络（SAN）或使用以太网的网络附加存储（NAS）。SAN 提供块级访问，通常使用 FC 实现高性能，使用 iSCSI（通过以太网）实现成本效益 。NAS 通过以太网提供文件级访问 。本地部署在 SAN 交换机中仍占最大市场份额（2024 年为 40.8%）。通常在本地构建的私有云架构利用虚拟化、容器化和软件定义网络实现安全、高性能通信，优化带宽并提高安全性 。它们包含块存储、文件存储和对象存储，并具有冗余和数据保护功能 。

混合性是当前企业存储的主流策略。数据显示，光纤通道和以太网在企业存储市场中都占据着重要的地位 。此外，趋势表明混合云策略和本地基础设施的持续相关性正在增加 。这表明企业并非放弃一种技术而选择另一种，而是战略性地结合它们以满足多样化的工作负载需求并利用现有投资。现代企业存储网络以专用高性能光纤（FC）用于关键工作负载和灵活的基于 IP 的网络（以太网）用于通用和融合流量的混合为特征，通常延伸到混合云环境。这需要强大的集成策略和能够管理异构环境的熟练 IT 团队。

图片

B. 云存储解决方案

• 带宽趋势： 云计算需要强大、可靠的互联网连接，带宽需求每三年翻一番 。主要云提供商（AWS、Azure、Google Cloud）提供各种存储服务（对象、块、文件），具有不同的性能层级 。计算实例的出口带宽限制范围从 2 Gbps 到 200 Gbps，甚至对于专用实例可以更高，并可选择将配额增加到 1 Tbps 。云备份市场正经历显著增长（复合年增长率超过 25.4%）。
• 架构： 云存储本质上是分布式且高度依赖云提供商基础设施内部的高速、可扩展的以太网骨干。它抽象了物理存储，提供对象存储（S3, Blob, Cloud Storage）、块存储（EBS, Managed Disks, Persistent Disk）和文件存储（EFS, Azure Files, Cloud Filestore）等服务 。从本地连接到云存储通常使用专用连接（例如，AWS Direct Connect, Azure ExpressRoute, Google Cloud Interconnect），这些连接可以提供高达 10 Gbps 甚至 100 Gbps 的带宽（对于 Direct/ExpressRoute Direct）。云存储强调可扩展性、数据冗余（LRS, GRS, ZRS）和安全功能，如加密和基于角色的访问控制 。

云存储的复杂性抽象化，是其吸引力的重要组成部分。与企业本地存储中组织管理底层网络光纤（FC 或以太网）不同，云存储抽象了大部分复杂性。用户以服务的形式使用存储，云提供商管理高速、可扩展且弹性的网络基础设施（其内部主要基于以太网）。用户的关注点从管理物理网络组件转移到选择适当的服务层级、优化出口带宽和管理成本 。这种抽象简化了存储部署和管理，实现了更快的可扩展性并降低了运营开销。然而，这也意味着用户对底层网络性能特性拥有较少的直接控制，并依赖云提供商的基础设施和 SLA 来实现可靠性和延迟。理解云出口成本和优化数据传输模式变得至关重要。

Notice：Human's prompt,  Datasets by Gemini-2.5-flash-thinking