前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >CDN日志过滤方法

CDN日志过滤方法

原创
作者头像
古人诗
修改2019-09-24 17:35:33
1.4K0
修改2019-09-24 17:35:33
举报
文章被收录于专栏:最肯忘却

CDN日志往往记录较大,单纯使用grep和cat无法彻底进行统计分析,这种情况下可以使用zcat和awk来进行

日志格式

腾讯云官方给出的回源日志格式如下:

请求时间、客户端IP、访问域名、文件路径、字节数、省份编码、运营商编码、HTTP状态码、referer、Request-Time、UA、range、HTTP Method、协议标识、缓存HIT/MISS

Zcat使用方法

Zcat可以直接对gz格式的文件进行查看分析,并且进行过滤,日志大部分都是常用方法如下:

-S:指定gzip格式的压缩包的后缀。当后缀不是标准压缩包后缀时使用此选项; -c:将文件内容写到标注输出; -d:执行解压缩操作; -l:显示压缩包中文件的列表; -L:显示软件许可信息; -q:禁用警告信息; -r:在目录上执行递归操作; -t:测试压缩文件的完整性; -V:显示指令的版本信息; -l:更快的压缩速度; -9:更高的压缩比。

Awk筛选

1、查看访问次数较多的文件信息,并排序: zcat *.gz|awk ‘{print $2,$4}’|sort|uniq -c|sort -rn

2、查看访问404的client ip信息和具体文件: zcat *.gz|awk ‘{if ($8==404) {print $2,$4}}’| sort | uniq -c | sort -rn

3、查看访问miss状态的文件信息,client ip,状态码信息: zcat *.gz | awk ‘{if ($NF=”miss”){print $2,$4,$8}}’|sort|uniq -c|sort -rn

4、查看访问次数最多的client ip信息: zcat *.gz | awk ‘{print $2}’|sort|uniq -c|sort -rn

5、指定文件路径:/index.php/45.html的访问日志 zcat *.gz | awk ‘{if ($4==”/index.php/45.html”) print $2,$4}’

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 日志格式
  • Zcat使用方法
  • Awk筛选
相关产品与服务
内容分发网络 CDN
内容分发网络(Content Delivery Network,CDN)通过将站点内容发布至遍布全球的海量加速节点,使其用户可就近获取所需内容,避免因网络拥堵、跨运营商、跨地域、跨境等因素带来的网络不稳定、访问延迟高等问题,有效提升下载速度、降低响应时间,提供流畅的用户体验。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档