前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >日志投递至 COS 可选择不同存储类型

日志投递至 COS 可选择不同存储类型

作者头像
日志服务CLS小助手
发布2024-03-26 11:09:20
1550
发布2024-03-26 11:09:20
举报
文章被收录于专栏:日志服务CLS

按照日志的访问频次,我们将日志分为冷热两大类,这两类日志分别有不同存储的需求。 如下表所示:

日志分类

使用场景

需求

日志热数据:活跃、频繁访问的日志

实时监控、故障排查。如系统运行时,可通过查询、分析实时日志,迅速定位并解决问题

需要快速的访问速度和高性能的存储系统,以便及时获取和分析数据

日志冷数据:较旧、不常访问的日志

主要用于长期存档以满足合规性要求,确保日志数据长期保存以备审计或法律调查之需

成本和可扩展性是关键,因此选择适合长期存储的低成本系统成为常见做法

通过合理划分和管理日志冷热数据,可以提高日志分析的效率和成本效益,同时满足实时监控和故障排查的需求,以及长期存档和合规性要求。对此,CLS 提供了成熟的解决方案。

● 日志热数据存在 CLS 标准存储,以满足实时查询分析需求;冷数据则自动沉降至 CLS 低频存储,不仅降低了存储成本,同时仍支持用户检索;

● 如需存储更长时间(180天以上),可将日志投递到对象存储 COS 的归档存储,可进一步降低存储成本;

● COS 桶中存储的日志可回流至 CLS 日志主题,便于进行历史日志分析。

本期文章,将详细介绍这两类日志的存储管理。

使用 CLS 标准存储+低频存储策略

冷数据自动沉降到低频存储

如果日志存储总时长在 180 天及以内,且需不定期检索历史日志。可以采用这种策略,标准存储可支持分析,低频存储的日志仍支持检索,同时,存储费用也大大降低了。

常见的有组合有 7+21、30+150 等,可满足日志审计 180 天的要求。如下图配置,相当于 30 天标准存储+150 天低频存储。

详情请见官方文档:

https://cloud.tencent.com/document/product/614/82172

将 CLS 日志投递到 COS 归档存储

或深度归档存储

如果历史日志访问频次很低(1-2 次/年),且需保存 180 天及以上的历史日志,建议投递到 COS 归档存储,该策略可进一步缩减存储费用(参考下图)。

详情请见官方文档:

https://cloud.tencent.com/document/product/436/53482

我们支持将 CLS 日志以 JSON、Parquet 或 CSV 格式投递到 COS,用户可以选择标准存储、低频存储、归档存储、或深度归档存储方式投递到 COS 存储桶。

详情请见官方文档:

https://cloud.tencent.com/document/product/614/33815

请注意:

● 日志投递到 COS 会产生读流量费用,流量费为 0.18 元/GB,数据压缩率约为 0.5。例如,100 GB 的原始日志投递到 COS 会产生 100*0.5*0.18=9 元的流费。

● 低频或归档数据无法实时响应,访问时需提前 1 天取回并支付相关费用,归档存储的标准取回费用 0.06 元/GB。

请根据实际需求与预算,选择合适的存储策略。

详情请见官方文档:

https://cloud.tencent.com/document/product/436/53862

COS 桶中的日志回流 CLS

如果需要从 COS 取回数据并导入 CLS 进行分析,请先确认数据是否为标准存储。非标准存储(低频存储、归档存储、深度归档存储)的数据,需先取回并转为标准存储,方可导入 CLS。

随后使用 CLS 的从 COS 导入日志功能,将 COS 中的数据写入 CLS。

详情请见官方文档:

https://cloud.tencent.com/document/product/614/66676

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-03-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 云原生日志服务CLS 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
归档存储
腾讯云 COS 归档存储(COS Archive Storage)是腾讯云对象存储 COS 低成本、持久可靠的存储类型,为企业和个人开发者提供海量、非结构化数据的长时间备份能力。与本地备份相比,归档存储采用分布式云端存储架构,您无需关注硬件维护及容量扩展,当您需要数据时,可以通过 RESTful API 对存储的数据进行恢复并设置有效期来访问。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档