成本直降 50%！TKE 日志分层存储实战：CLS 热冷存储 + 生命周期管理

一、引言

随着大数据时代的到来，企业对日志数据的存储需求日益增长。TKE（Tencent Kubernetes Engine）作为腾讯云提供的容器服务，在日志处理方面面临着成本与性能的双重挑战。传统的日志存储方式往往导致高昂的成本，而 CLS（Cloud Log Service）热冷存储结合生命周期管理为我们提供了一种高效的解决方案，能够显著降低日志存储成本，同时保障数据的可访问性与安全性。本文将深入探讨在 TKE 环境下，如何利用 CLS 热冷存储与生命周期管理实现成本直降 50% 的实战经验。

二、TKE 日志存储现状与挑战

（1）TKE 日志生成特性

在 TKE 集群中，各类应用容器源源不断地产生大量日志。这些日志包括容器标准输出日志、应用业务日志以及系统运行日志等。容器的动态扩缩容特性使得日志产生量具有高度的波动性。例如，一个电商应用在促销活动期间，容器实例数量可能会激增数倍，导致日志产生速率大幅上升。据实际观测，一个中等规模的电商 TKE 集群在日常运行时，每日产生的日志量可达数百 GB，而在大促期间可飙升至数 TB。

（2）传统存储方式的弊端

1. 单一热存储成本高昂
   • 传统的日志存储往往采用单一的热存储方式，如将所有日志存储在高性能的云存储服务中，以确保实时可访问性。然而，这种存储方式的单位存储成本较高。以腾讯云某热存储服务为例，其月度存储费用可达每 GB X 元。对于海量日志而言，长期存储成本会迅速累积，给企业带来沉重的负担。
2. 存储资源浪费
   • 由于日志的重要性存在差异，一些历史日志可能在一定时间后很少被访问，但仍被占用着宝贵的热存储空间。例如，某些运维排查日志在生成后的头一周可能频繁被查询，但几周甚至数月后几乎无人问津。而传统的存储方式无法很好地根据日志的访问热度进行分级存储，造成了存储资源的浪费。

三、CLS 热冷存储架构解析

（1）CLS 热存储与冷存储的定义与特点

1. 热存储
   • CLS 热存储主要用于存储近期频繁访问的日志数据。它具备低延迟、高吞吐的特点，能够快速响应日志的读写请求。热存储的数据通常存储在高性能的存储介质上，如 SSD 磁盘。其数据冗余策略可能采用多副本机制，确保数据的高可用性。例如，在热存储中，一份日志数据可能会在多个节点上保存副本，当某个节点出现故障时，可以从其他副本快速恢复数据。
2. 冷存储
   • CLS 冷存储则适用于存储历史的、访问频率较低的日志数据。冷存储注重单位存储成本的降低，其存储介质可能为大容量的 HDD 磁盘。虽然冷存储的访问延迟相对较高，但对于长期归档的日志数据而言，这种延迟在可接受范围内。冷存储的数据冗余策略可能与热存储有所不同，例如采用纠删码等技术，在保障数据可靠性的同时降低存储开销。

（2）热冷存储架构的交互流程

当 TKE 应用容器生成日志时，日志采集组件（如 Fluentd 等）首先将日志数据写入 CLS 热存储。在热存储中，日志经过初步处理和索引构建，以便于后续的快速查询。随着日志数据在热存储中的积累，以及根据预设的生命周期策略，部分符合条件的日志数据会被自动迁移至冷存储。这一迁移过程通常在后台以批量的方式进行，以减少对业务性能的影响。当用户查询日志时，系统会优先从热存储中检索数据；如果所需日志已迁移至冷存储，系统会自动从冷存储中调取数据，并可能在返回结果时稍作延迟提示。

四、生命周期管理策略制定

（1）确定日志的热度划分标准

1. 基于业务场景的热度划分
   • 对于不同的业务场景，日志的热度划分标准有所不同。以一个在线论坛应用为例，用户访问日志在生成后的 7 天内可能由于内容审核、热门话题追踪等原因频繁被访问，因此可划分为热数据；7 天至 30 天的日志访问频率逐渐降低，可视为温数据；而超过 30 天的日志则基本处于归档状态，属于冷数据。
2. 基于数据访问模式的热度划分
   • 通过分析日志的访问模式，可以进一步细化热度划分。例如，某些运维监控日志在工作日的白天时段访问热度较高，而在夜间及节假日访问热度较低。可以通过设置时间窗策略，将不同时间段的日志数据划分为不同的热度级别。

（2）设置生命周期迁移规则

1. 时间维度迁移规则
   • 最常见的迁移规则是基于时间的。例如，设置规则将热存储中的日志在生成后超过 7 天自动迁移至冷存储。在实现这一规则时，需要考虑如何精确地追踪每条日志的生成时间。可以通过在日志采集阶段为每条日志添加时间戳字段来实现。同时，要确保迁移过程不会导致数据丢失或重复。
2. 数据量维度迁移规则
   • 除了时间维度，还可以根据数据量来制定迁移规则。例如，当热存储中的日志数据量达到一定阈值（如 1TB）时，触发将部分最早生成的日志迁移至冷存储。这种方式适用于日志产生速率不稳定且存储资源有限的场景。

五、TKE 与 CLS 集成方案实施

（1）日志采集组件配置

在 TKE 集群中，通常使用 Fluentd 等日志采集组件。为了实现与 CLS 的高效集成，需要对 Fluentd 进行精心配置。

1. Fluentd 配置示例
   • 在 Fluentd 配置文件中，指定日志源为容器的标准输出，例如：

<source>
  @type tail
  path /var/lib/docker/containers/*/*.log
  pos_file /var/log/pos/docker.log.pos
  tag docker.*
  <parse>
    @type json
  </parse>
</source>

然后配置将日志发送至 CLS 热存储的输出插件：

<match docker.**>
  @type clswriter
  <buffer>
    @type memory
    chunk_limit_size 8MB
    flush_interval 5s
  </buffer>
  <storage>
    @type local
    persistent true
    path /var/log/fluentd-buffers/
  </storage>
  endpoint https://cls-api.tencent-cloud.com
  region ap-guangzhou
  logset_id your_logset_id
  topic_id your_topic_id
  <auth>
    <credential>
      access_key_id your_access_key_id
      secret_access_key your_secret_access_key
    </credential>
  </auth>
</match>

（2）热冷存储配置

在 CLS 控制台上，需要创建热存储和冷存储的存储桶。

1. 热存储桶配置
   • 进入 CLS 控制台，创建一个新的存储桶。设置存储类型为 “热存储”，指定存储桶的名称（如 “tke-hot-logs”）、地域（与 TKE 集群相同）等基本信息。同时，根据预计的日志写入量和查询需求，配置合适的存储容量和索引规则。
2. 冷存储桶配置
   • 创建冷存储桶时，存储类型选择 “冷存储”。与热存储桶相比，冷存储桶的名称（如 “tke-cold-logs”）和地域设置相同，但在存储容量和性能配置上有所不同。由于冷存储注重成本控制，可以设置相对较低的性能参数，以降低单位存储成本。

（3）生命周期管理规则配置

在 CLS 控制台的生命周期管理功能中，创建相应的规则。

1. 基于时间的生命周期规则配置
   • 选择热存储桶，点击 “添加生命周期规则”。设置规则名称（如 “7 天热转冷”），过滤条件为全部日志。在迁移动作中，选择 “迁移到冷存储”，设置触发时间为 “对象创建后 7 天”。保存规则后，系统将自动根据该规则对热存储中的日志进行迁移。
2. 基于数据量的生命周期规则配置
   • 同样在热存储桶中添加规则，规则名称设为 “1TB 热转冷”。过滤条件仍为全部日志。在迁移动作中，选择 “迁移到冷存储”，触发条件设置为 “热存储桶数据量达到 1TB”。此规则将在热存储桶的数据量达到阈值时触发迁移。

六、性能测试与优化

（1）性能测试方法

为了评估 CLS 热冷存储在 TKE 环境下的性能表现，我们设计了以下测试方法。

1. 日志写入性能测试
   • 在 TKE 集群中部署多个测试应用容器，模拟不同规模的日志产生场景。通过压测工具（如 JMeter 等）向应用发送请求，使容器生成大量日志。同时，监控 CLS 热存储的写入吞吐量、写入延迟等指标。记录不同并发日志写入情况下的性能数据。
2. 日志查询性能测试
   • 在 CLS 热存储和冷存储中分别存储一定量的日志数据。使用 CLS 提供的查询接口，构建不同复杂度的查询语句（如简单关键字查询、多条件组合查询等）。记录查询响应时间、查询吞吐量等指标，比较热存储和冷存储在查询性能上的差异。

（2）性能测试结果与分析

1. 日志写入性能测试结果
   • 测试表明，在热存储中，当日志写入速率较低（如每秒 10MB）时，写入延迟保持在较低水平（约 10 - 20 毫秒）。随着写入速率的增加（达到每秒 100MB），写入延迟略有上升，但仍可控制在 50 - 100 毫秒范围内。这表明 CLS 热存储能够较好地应对 TKE 集群日常及较高负载的日志写入需求。
2. 日志查询性能测试结果
   • 在热存储中，简单关键字查询的响应时间通常在 1 - 3 秒，而复杂多条件查询可能需要 5 - 10 秒。对于冷存储，由于访问延迟较高，简单查询响应时间约为 5 - 10 秒，复杂查询则可能达到 15 - 30 秒。由此可见，热存储更适合频繁、实时的查询需求，而冷存储适用于偶尔的历史数据查询。

（3）性能优化措施

1. 日志采集优化
   • 在 Fluentd 配置中，可以调整缓冲区大小和刷新间隔，以平衡日志写入的延迟与吞吐量。例如，增大缓冲区大小（如从 8MB 调整至 16MB）可以减少写入次数，提高吞吐量，但可能会增加单次写入延迟。需要根据实际业务需求进行权衡。
2. 存储优化
   • 优化 CLS 热存储的索引规则。合理设置索引字段可以加快查询速度。例如，对于经常按时间范围查询的日志，确保时间字段被索引。同时，定期清理无用的索引字段，以减少存储开销和提高查询性能。

七、成本分析与收益评估

（1）成本分析模型

为了准确评估采用 CLS 热冷存储及生命周期管理前后的成本变化，我们建立以下成本分析模型。

1. 传统存储成本模型
   • 假设传统存储采用单一热存储方式。每月日志存储成本 = 存储量（GB）× 热存储单位价格（元 / GB / 月）。
2. CLS 热冷存储成本模型
   • 月度日志存储成本 = 热存储量（GB）× 热存储单位价格（元 / GB / 月） + 冷存储量（GB）× 冷存储单位价格（元 / GB / 月）。

（2）成本对比数据

1. 实际案例数据
   • 以某中等规模 TKE 集群为例，其每月日志总量为 50TB。在传统存储方式下，全部存储在热存储中，月度存储成本为 50,000GB × X 元 / GB / 月 = X 元。采用 CLS 热冷存储及生命周期管理后，经过统计分析，约 20% 的日志为热数据存储在热存储中，其余 80% 为冷数据存储在冷存储中。假设热存储单位价格为冷存储的 5 倍，那么月度存储成本变为（10,000GB × X 元 / GB / 月） +（40,000GB × X/5 元 / GB / 月）= X 元 + X 元 = 2X 元。与传统存储相比，成本直降约 50%。

（3）收益评估

1. 成本节约收益
   • 除了直接的存储成本节约外，企业可以将节省下的资金投入到其他关键业务领域，如研发创新、市场拓展等。长期来看，这种成本优化策略有助于提升企业的整体竞争力。
2. 数据管理收益
   • CLS 热冷存储及生命周期管理使得日志数据管理更加高效、有序。运维人员可以更快地定位和查询热数据，提高故障排查效率。同时，冷数据的归档存储符合数据合规要求，降低了数据丢失或泄露的风险。

八、案例实践与经验分享

（1）案例背景介绍

某互联网金融公司采用了 TKE 部署其核心业务应用，每天产生大量的交易日志、用户行为日志等。随着业务的快速发展，日志存储成本不断攀升，给公司的运营带来压力。为解决这一问题，该公司决定引入 CLS 热冷存储及生命周期管理方案。

（2）实施过程与遇到的问题

1. 实施过程
   • 首先，对现有 TKE 日志采集流程进行改造，配置 Fluentd 将日志发送至 CLS 热存储。然后，在 CLS 控制台创建热存储桶和冷存储桶，并根据业务需求制定生命周期管理规则，将 7 天前的日志自动迁移至冷存储。
2. 遇到的问题
   • 在实施过程中，发现部分日志由于格式不规范，在写入 CLS 热存储时出现解析错误。经过排查，发现是容器应用的日志输出格式与 Fluentd 的解析配置不匹配。通过调整容器应用的日志输出格式和 Fluentd 的解析规则，解决了该问题。

（3）解决方案与经验教训

1. 解决方案总结
   • 针对日志解析问题，建立了严格的应用日志输出规范，要求开发人员在编码阶段遵循统一的日志格式。同时，在 Fluentd 配置中增加了日志格式校验和错误处理机制，确保日志能够成功写入 CLS 热存储。
2. 经验教训分享
   • 在实施 CLS 热冷存储方案前，充分的规划和测试至关重要。需要对现有日志的种类、产生量、访问模式等进行全面调研和分析，以制定合理的生命周期管理规则。此外，要考虑到日志采集和存储过程中的各种异常情况，并提前设计好相应的容错机制。

九、总结

（1）技术发展趋势

1. 存储技术融合
   • 未来，CLS 热冷存储技术可能会进一步融合新型存储介质（如基于闪存的非易失性内存快速存储 - NVMe SSD 等），以进一步提升热存储性能和降低成本。同时，冷存储可能会探索利用更新一代的大容量、低能耗存储设备，优化存储成本与能耗的平衡。
2. 智能化管理
   • 随着人工智能和机器学习技术的发展，日志存储的生命周期管理有望实现智能化。通过对日志访问模式的深度学习和预测，系统能够自动、动态地调整生命周期规则，实现更加精准、高效的日志存储管理。

（2）总结

在 TKE 环境下，采用 CLS 热冷存储结合生命周期管理是一种极具价值的日志存储优化策略。通过深入理解 TKE 日志存储现状与挑战，精心设计 CLS 热冷存储架构，合理制定生命周期管理规则，并成功实施集成方案，我们能够显著降低日志存储成本，同时保障日志数据的高效管理与访问。实际案例证明了该方案的有效性和实用性。展望未来，随着技术的不断进步，我们期待日志存储解决方案能够更加智能、高效，为企业数据管理提供更有力的支持。