前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >cdn-3:上传文件到oss-bucket生产级别监控

cdn-3:上传文件到oss-bucket生产级别监控

作者头像
千里行走
发布2022-04-28 16:10:15
1.8K0
发布2022-04-28 16:10:15
举报
文章被收录于专栏:千里行走

我们对服务端上传文件到oss做了收敛,将oss的写操作(目前只有文件上传)封装到基础服务中,那么就涉及到了对oss写操作的监控问题。

目录:

(1).文件上传服务监控之线上效果图

1.监控总览

2.oss bucket上传次数统计

3.oss bucket上传文件大小统计

4.oss bucket上传文件时间统计

5.grafana的dashboard-json

(2).文件上传服务监控之主要代码

1.自研框架注解方式集成

2.prometheus组件主要代码

3.主体逻辑

(3).总结

(1).文件上传服务监控之线上效果图

主要监控维度:

文件上传次数统计情况,文件上传大小统计情况,文件上传耗时统计情况。

每个监控维度都有细分指标,如p90(fileSize), p99(timeCost),详细见后图。

1.监控总览

2.oss bucket上传次数统计

具体数据脱敏。

3.oss bucket上传文件大小统计

具体数据脱敏。

4.oss bucket上传文件时间统计

具体数据脱敏。

5.grafana的dashboard-json

配置参考:

https://github.com/hepyu/grafana-action/blob/master/dashboarrd/dashboard-oss/OSS%E5%A4%A7%E7%9B%98-1557749311378.json

(2).文件上传服务监控之主要代码

1.自研框架注解方式集成

cdn和oss的写操作都集成到了自研框架中,目前只对oss做了prometheus监控。

标注1:封装ossClient操作,方便引入prometheus。

标注2:封装的ossClient的方法。

标注3:prometheus组件。

2.prometheus组件主要代码

统计putObject次数的prometheus-Counter:

统计putObject的fileSize和timeCost的prometheus-Histogram:

3.主体逻辑

(3).总结

1.后续需要在每个指标中/新增指标加入返回的cdn的域名。

可以顺带监控不同CDN域名的负载情况。

原因:

不论是pc还是手机上的浏览器,同一时间访问同一个域名的请求个数是有限的,通过多个域名可以提高用户体验。

2.持续完善oss/cdn的接口封装和对应的监控。

3.最终要进行容器化。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-02-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 千里行走 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据脱敏
数据脱敏(Data Masking,DMask)是一款敏感数据脱敏与水印标记工具,可对数据系统中的敏感信息进行脱敏处理并在泄漏时提供追溯依据,为企业数据共享、迁移、分发提供安全保护措施。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档