按照日志的访问频次,我们将日志分为冷热两大类,这两类日志分别有不同存储的需求。 如下表所示:
日志分类 | 使用场景 | 需求 |
---|---|---|
日志热数据:活跃、频繁访问的日志 | 实时监控、故障排查。如系统运行时,可通过查询、分析实时日志,迅速定位并解决问题 | 需要快速的访问速度和高性能的存储系统,以便及时获取和分析数据 |
日志冷数据:较旧、不常访问的日志 | 主要用于长期存档以满足合规性要求,确保日志数据长期保存以备审计或法律调查之需 | 成本和可扩展性是关键,因此选择适合长期存储的低成本系统成为常见做法 |
通过合理划分和管理日志冷热数据,可以提高日志分析的效率和成本效益,同时满足实时监控和故障排查的需求,以及长期存档和合规性要求。对此,CLS 提供了成熟的解决方案。
● 日志热数据存在 CLS 标准存储,以满足实时查询分析需求;冷数据则自动沉降至 CLS 低频存储,不仅降低了存储成本,同时仍支持用户检索;
● 如需存储更长时间(180天以上),可将日志投递到对象存储 COS 的归档存储,可进一步降低存储成本;
● COS 桶中存储的日志可回流至 CLS 日志主题,便于进行历史日志分析。
本期文章,将详细介绍这两类日志的存储管理。
使用 CLS 标准存储+低频存储策略
冷数据自动沉降到低频存储
如果日志存储总时长在 180 天及以内,且需不定期检索历史日志。可以采用这种策略,标准存储可支持分析,低频存储的日志仍支持检索,同时,存储费用也大大降低了。
常见的有组合有 7+21、30+150 等,可满足日志审计 180 天的要求。如下图配置,相当于 30 天标准存储+150 天低频存储。
详情请见官方文档:
https://cloud.tencent.com/document/product/614/82172
将 CLS 日志投递到 COS 归档存储
或深度归档存储
如果历史日志访问频次很低(1-2 次/年),且需保存 180 天及以上的历史日志,建议投递到 COS 归档存储,该策略可进一步缩减存储费用(参考下图)。
详情请见官方文档:
https://cloud.tencent.com/document/product/436/53482
我们支持将 CLS 日志以 JSON、Parquet 或 CSV 格式投递到 COS,用户可以选择标准存储、低频存储、归档存储、或深度归档存储方式投递到 COS 存储桶。
详情请见官方文档:
https://cloud.tencent.com/document/product/614/33815
请注意:
● 日志投递到 COS 会产生读流量费用,流量费为 0.18 元/GB,数据压缩率约为 0.5。例如,100 GB 的原始日志投递到 COS 会产生 100*0.5*0.18=9 元的流费。
● 低频或归档数据无法实时响应,访问时需提前 1 天取回并支付相关费用,归档存储的标准取回费用 0.06 元/GB。
请根据实际需求与预算,选择合适的存储策略。
详情请见官方文档:
https://cloud.tencent.com/document/product/436/53862
COS 桶中的日志回流 CLS
如果需要从 COS 取回数据并导入 CLS 进行分析,请先确认数据是否为标准存储。非标准存储(低频存储、归档存储、深度归档存储)的数据,需先取回并转为标准存储,方可导入 CLS。
随后使用 CLS 的从 COS 导入日志功能,将 COS 中的数据写入 CLS。
详情请见官方文档:
https://cloud.tencent.com/document/product/614/66676