KIOXIA：灵活数据放置（FDP）- 存储架构师必知的技术

数据存储前沿技术

发布于 2025-02-11 20:00:37

1600

全文概览

在现代存储系统中，数据的高效管理和存储优化是提升性能和延长设备寿命的关键。随着存储介质的多样化和技术的不断进步，如何在复杂的存储环境中实现数据的灵活放置，成为了存储架构师们关注的焦点。

本文将深入探讨灵活数据放置（FDP） 这一技术，分析其在减少写放大效应、优化存储性能中的重要作用，以及如何通过合理的配置和调优，充分发挥FDP的优势。无论是存储系统的设计者，还是对存储技术感兴趣的开发者，本文都将为你提供有价值的见解。

1. 垃圾回收与写放大

垃圾回收（GC） SSD中数据管理的核心机制，通过整理有效数据和清除无效数据释放存储空间。
写放大效应 GC过程中数据的迁移导致额外的写入操作，影响性能和设备寿命。
触发条件 容量满、写入压力、时间间隔等。

2. 灵活数据放置（FDP）原理

数据分组 根据数据的生命周期和访问模式，将数据分组存储在不同的回收单元（RU）中。
减少写放大 避免数据碎片化，优化存储空间使用。
存储管理 尽管FDP能显著减少写放大，但无法完全消除，尤其在QLC介质中更为明显。

3. FDP的配置与调优

可配置性 从超级块级别到单个芯片级别，支持灵活的数据管理。
跨芯片RAID 提高设备可靠性和并行性，避免增加主机负担。
芯片级控制 优化写缓存和电力损失保护。

4. FDP使用中的注意事项

存储介质特性差异 不同厂商和代际的闪存块大小可能不同。
回收单元句柄（RUH）问题 数据可能不会写入预期的RU。
超级块大小 可能影响性能和管理策略。
RUH数量限制 过多的RUH会消耗写缓存，影响电源故障保护。
修剪与垃圾回收互锁问题 可能导致数据处理冲突。
竞态条件与写放大 队列深度大于1时可能出现问题。

5. FDP最佳实践建议

超额配置 通过增加存储容量优化性能，减少写放大。
日志结构化写入 采用LSM、事务日志等技术减少写操作。
热数据与冷数据分离 优化存储策略，提升性能。
存储应用程序优化 通过小改进（如帕累托法则）提升效率

阅读收获

理解FDP的核心原理 掌握FDP如何通过数据分组和灵活放置减少写放大效应。
优化存储性能 学习如何通过FDP配置和调优，提升存储设备的性能和寿命。
避免常见问题 掌握FDP使用中的注意事项，避免潜在的性能瓶颈。

垃圾回收与写放大

图展示了垃圾回收（GC）过程中，如何处理有效数据与无效数据的差异，及其对存储介质的影响。

在GC之前，存储介质中有多个包含有效数据的页面和无效数据的页面，
经过GC处理后，所有有效数据被重新整合到新的块中，而无效数据的碎片块被删除，从而释放空间。

此外，图中还提到，逻辑块地址（LBA）的覆盖会导致存储区域失效，不能重复使用，且当回收单元（RU）中的有效数据被复制到新位置时，会产生写放大效应，增加写入负担。

关于垃圾回收（GC）

在现代存储系统，尤其是固态硬盘（SSD）和类似设备中，垃圾回收机制也被广泛应用。其主要目的是确保在存储介质中高效地使用空间，同时减少写放大（Write Amplification）的影响。

在SSD中，垃圾回收的基本过程涉及以下几个重要步骤：

数据的写入与擦除

写入操作 SSD的存储单元通常按页（Page）来组织，而擦除操作通常是在更大的单元——块（Block）级别进行的。每次写入数据时，SSD并不会直接修改已存在的数据，而是将新的数据写入到一个空闲的页中。
擦除操作 擦除操作会发生在块级别，整个块中的所有页会被清空。擦除后，块会变为空闲状态，准备接受新的写入。

2. 产生碎片与无效数据

碎片化 由于数据的更新并不总是发生在相同的位置，SSD中的数据经常变得碎片化。例如，当用户修改文件时，新数据会被写入到新的页面，而原来的页面中的数据就变成了无效数据。
无效数据 随着时间的推移，某些数据会被覆盖或者删除，导致它们在物理介质上不再有意义。这些无效的数据被称为“垃圾数据”。

3. 垃圾回收（GC）过程

标记与清除 垃圾回收的核心任务是识别哪些数据是无效的，并将它们从存储介质中清除。具体而言，SSD中的垃圾回收通常采用“标记与清除”策略。所有无效的数据标记为垃圾数据，并被移除。
整理与整理碎片 垃圾回收不仅仅是删除无效数据，还需要将有效的数据整理到新的位置。垃圾回收器将有效的数据从碎片化的块中复制到新的空闲块中，确保存储介质的空间得到最有效的利用。

4. 写放大的影响

写放大（Write Amplification，WA） 由于SSD必须将有效数据从一个位置移动到另一个位置，通常需要写入更多的数据量。例如，在进行垃圾回收时，可能需要将整个块的数据复制到另一个位置，产生额外的写入操作，导致实际写入的数据量超过了原始数据量。这种现象被称为写放大。
写放大对性能的影响 写放大的增加会影响SSD的性能和寿命。每次写入操作都会消耗一定的擦写周期（擦写周期指的是对一个存储单元进行擦除和写入的次数），过度的写放大会导致设备的磨损。

5. GC的触发条件

容量满 当SSD的可用空间达到一定阈值时，垃圾回收会被触发以释放空间。
写入压力 频繁的数据写入会导致垃圾回收机制被频繁调用，特别是在存储介质接近满时。
时间间隔 有时垃圾回收可能基于时间间隔来触发，而不是仅仅根据可用空间的变化。

6. 回收单位（Reclaim Unit，RU）

回收单位是SSD内部的一种组织方式，用于优化垃圾回收过程。当一个块中的数据被更新或删除时，回收单位会判断是否可以将其中的有效数据转移到新位置。如果有效数据仍然存在，它们会被复制到新的回收单位中，创建新的写入负担。

FDP 数据灵活放置

图展示了如何通过灵活数据放置（FDP）机制来减少写放大的影响。

FDP通过将可能被丢弃或覆盖的数据分组，减少了写放大的发生，从而优化了存储空间的使用和设备的性能。具体来说，FDP将具有不同生命周期的数据放入不同的回收单元（RU）中，从而避免了删除或覆盖数据时产生的碎片化现象。

此外，FDP还确保回收单元可以在不移动数据的情况下被擦除，这有助于进一步减少不必要的写操作。然而，尽管FDP能有效减少写放大，内部的存储管理需求仍然无法完全消除写放大的现象，尤其在QLC存储介质中更为显著。

数据灵活分组分析与算法

数据的灵活分组是如何实现的？

为了将数据按照生命周期和访问模式进行智能分组，系统通常使用一系列的分析方法和算法。这些方法和算法帮助存储系统预测数据的使用频率、寿命和更新模式，从而优化数据的放置策略。具体的分析方法和算法包括以下几种：

访问模式分析（Access Pattern Analysis）

数据访问模式分析可以帮助预测哪些数据会被频繁访问，哪些数据只是偶尔访问。这一分析方法主要通过以下几种方式进行：
- 时间窗口分析 通过观察数据在不同时间段的访问频率，确定数据的访问模式。例如，访问频率较高的数据通常为长期需要的数据，而访问频率较低的数据可能是临时数据或很快会被删除的数据。
- 热数据与冷数据分类（Hot vs Cold Data） 将频繁访问的数据（热数据）和不常访问的数据（冷数据）分开存储。热数据通常需要快速读取，因此可以存储在更快的存储介质上，而冷数据则可以存储在成本较低的存储介质上。
- 最近最少使用（LRU）算法 此算法将最近未被访问的数据视为冷数据，帮助系统判断哪些数据可以被移除或迁移到较慢的存储区域。
2. 生命周期分析（Data Lifecycle Analysis）
生命周期分析是通过追踪数据的创建、修改和删除历史，来预测数据在存储介质中的使用时长及其更新频率。这通常通过以下方式实现：
- 写入频率分析 如果某个数据块频繁更新，那么它通常处于生命周期的中期或晚期，可能会在短时间内被覆盖。反之，如果某个数据块很少被修改，则它可能是长期保存的数据。
- 数据保留策略 根据数据的生命周期，系统会为不同数据设定不同的保留策略。例如，对于临时数据，可以设置较短的保留时间，而对于重要数据则设置较长的保留时间。
- 预测算法 使用历史数据和机器学习模型（如回归分析、时间序列分析等），来预测某些数据在未来的生命周期表现，进而优化其存储策略。
3. 基于优先级的存储调度算法
基于优先级的存储调度旨在根据数据的优先级来优化存储资源的分配。这个算法会根据数据的重要性、访问模式及生命周期，决定其放置和迁移的优先级。
- 写入优先级控制 优先级较高的数据（如重要的长期数据）可以被优先写入，保证其在存储介质中的可靠性。
- 清理优先级控制 无效或过期的数据可以根据优先级决定是否清理，优先清理不再需要或生命周期已结束的数据。
4. 机器学习和人工智能算法
随着技术的发展，越来越多的现代存储系统采用**机器学习（ML）和人工智能（AI）**算法来优化数据存储策略。常见的算法包括
- 聚类算法 通过聚类算法（如K-means），将具有相似生命周期和访问模式的数据分组，以优化存储布局。
- 强化学习 通过强化学习模型，系统可以根据实时反馈优化存储决策，比如如何选择哪个数据块进行迁移或擦除。
- 神经网络 使用神经网络模型对数据的生命周期、更新模式和存储需求进行深度分析，从而自动优化数据的存储位置和垃圾回收策略。

FDP 需要配置调优

图强调了灵活数据放置（FDP）在存储设备中的高度可配置性，指出设备可以通过不同的配置方式，从超级块级别到单个芯片级别进行数据管理。这种灵活性允许制造商根据不同需求优化存储设备的性能。

现代SSD大多数在超级块级别执行跨芯片RAID，以提高设备的可靠性，并通过跨芯片条带化最大化设备内的并行性，同时避免增加主机的负担。此外，图中还提到，芯片级控制对于写缓存和电力损失保护有重要影响，进一步说明了灵活配置的优势。

注意事项

图列出了在使用灵活数据放置（FDP）时需要注意的一些关键问题：

存储介质特性差异 不同厂商和不同代际的闪存块大小可能有所不同，且很少是2的幂，因此不应假设闪存块的大小符合某些固定规律。
回收单元句柄（RUH）的问题 虽然我们可以检查剩余空间并实现队列深度（QD）为1，但并不能确保数据会被写入到期望的回收单元，因此不应依赖于数据最终会出现在当前的回收单元中。
超级块的大小 超级块（或回收单元）的大小可能非常大，这可能会影响性能和管理策略。
RUH数量 支持的回收单元句柄数量通常较小，因为每个RUH都消耗写缓存，进而影响设备的电源故障保护。
修剪与垃圾回收之间的互锁问题 目前，修剪操作和垃圾回收之间没有互锁机制，这可能导致数据处理冲突。
竞态条件与写放大 在队列深度大于1时，可能会出现竞态条件，导致不必要的写放大效应。

最佳实践建议

图介绍了在灵活数据放置（FDP）中如何实现最佳性能和最小的写放大。以下是关键点：

超额配置 通过增加存储容量（超额配置）来优化性能，减少写放大。特别是“短寻道”技术，它帮助避免了写放大。
日志结构化写入和循环缓冲区 采用如日志结构合并（LSM）、事务日志和写时复制（COW）快照文件系统等日志结构化写入算法可以很好地与FDP配合，减少不必要的写操作。
热数据与冷数据的分离 尽可能将热数据和冷数据分开存储，热数据需要频繁访问，而冷数据则可以较少更新。写时复制存储系统通过应用层垃圾回收能够自动处理这一需求。
针对现有存储应用程序的优化 如果不能完全重构存储应用程序，可以寻找一些较小的改进（如使用帕累托法则）。例如，将元数据（波动性较大）与用户数据分开存储，临时文件可以存储在单独的命名空间中，使用默认的放置ID。

延伸思考

这次分享的内容就到这里了，或许以下几个问题，能够启发你更多的思考，欢迎留言，说说你的想法~