实时日志分析

最近更新时间:2024-06-18 15:59:21

我的收藏
实时日志分析通过对云直播访问日志的实时采集、投递到日志服务 CLS 产品,实现对日志数据的快速检索、分析及存储,通过对日志数据的挖掘来实现数据驱动运维及运营,从而快速准确地制定运营策略。
注意
实时日志分析现已全新支持将日志投递至 日志服务 CLS,欢迎体验,本文档将指引您如何使用最新版实时日志功能。

注意事项

日志数据实时采集,三分钟后日志检索、报表数据趋于稳定;
目前仅对播放日志提供报表分析,如有其他日志管理需求可前往 日志服务 CLS
开启日志投递功能后请确保日志服务处于正常使用状态,日志服务停服将导致日志无法投递;
日志中记录的带宽或流量数据为应用层(HTTP 协议)回包数据,由于 TCP 包头消耗和失败重传等机制,比通过 TCP 层统计得出的消耗带宽或消耗流量要小。

操作说明

创建日志主题

1. 进入云直播控制台,选择业务监控 > 日志服务 > 实时日志分析,进入实时日志分析。
2. 若当前使用的是旧版实时日志分析,可单击这里升级至新版。因兼容性需要,升级将清空已有日志主题。

3. 首次使用需授权云直播服务角色,授权成功后,需要勾选服务协议并单击开始使用,系统将自动开通日志服务 CLS 产品并打开实时日志分析管理页面。



4. 选择地域并创建日志集,单击页面上的这里,创建新的日志集。
说明:
地域包含广州和新加坡,广州地域的日志集下创建的日志主题只能投递中国大陆(境内)的日志,新加坡地域的日志集下创建的日志主题只能投递国际/港澳台(境外)的日志。

5. 单击确定,即可创建新的日志集。



6. 创建日志集成功后,您需要单击创建日志主题,进入日志主题创建页面。新创建的日志主题状态默认为投递中,会投递日志到日志服务 CLS 产品中。





修改日志主题

1. 进入实时日志分析中的日志主题列表,单击您需修改的日志主题操作栏的管理

2. 进入日志主题编辑页面,您可修改日志主题信息。

分析日志报表

仅播放日志类型的日志主题提供报表分析,页面有四类数据,分别是:基础数据分析、资源分布分析、异常诊断分析、用户分析
1. 进入实时日志分析中的日志主题列表,单击您需查看的日志主题右侧的报表

2. 进入日志报表页查看报表数据,可分别查看基础数据资源分布异常诊断用户分析
基础数据
资源分布
异常诊断
用户分布













日志检索

日志检索支持多种类型的检索分析方式及图表分析形式,详细说明可见 日志检索
以日志主题为单元进行日志检索。选择您需要检索的日志主题,单击检索,进入日志检索页面。

停止日志主题投递至 CLS

1. 进入实时日志分析中的日志主题列表,单击您需要停止投递的日志主题右侧的停止

2. 在弹窗中确认是否停止投递,点击确认即可,对应日志主题的状态将变为停止投递,日志将不在投递至 CLS 产品。




删除日志主题

1. 进入实时日志分析中的日志主题列表,单击您需删除的日志主题右侧的删除

2. 在弹窗中确认是否删除日志主题,单击确定即可。



注意
若您删除了日志主题,就会停止推送相关域名的日志数据,日志服务产品中对应的日志主题也将被删除并清空已经投递的日志,同时您将无法再使用该主题对应的报表。
删除日志主题后将无法恢复,请谨慎操作。

日志字段

推流日志

顺序
日志字段
说明
1
time
请求时间
2
client_ip
客户端 IP
3
host
被访问的域名
4
url
URL
5
size
推流字节数大小
6
country_id
country_id
7
prov
省份
8
isp
运营商
9
streamname
流 ID
10
node_ip
节点 IP
11
server_region
服务器地区
12
server_country
服务器国家

播放日志

顺序
日志字段
说明
1
type
播放类型,lvb代表标准直播,leb代表快直播
2
time
请求时间
3
client_ip
客户端 IP
4
host
被访问的域名
5
url
URL
6
size
本次访问字节数大小
7
country_id
country_id
8
prov
省份
9
isp
运营商
10
http_code
HTTP 状态码
11
referer
Referer 信息
12
process_time
处理时长(单位:毫秒)
13
ua
User - Agent 信息
14
range
Range 参数
15
method
HTTP Method
16
streamname
流 ID
17
hit
缓存 HIT/MISS
18
node_ip
节点 IP(因无法获取部分CDN集群节点IP,此字段可能为空)
19
server_region
服务器地区
20
server_country
服务器国家
21
connect_fd
connect_fd(连接端口号)
22
lost_rate
丢包率,仅type=leb时才有值
23
rtt
rtt,仅type=leb时才有值
注意:
日志中特殊状态码说明如下:
0:连接建立。
4:请求超时,鉴权超时或者响应超时。
5:回源断连接或者流销毁。
6:客户端断连接。

名词解释

日志集

日志集(Logset)是对日志主题及指标主题的分类,一个日志集可包含多个日志主题和指标主题。日志集本身不存储任何日志数据,仅方便用户管理主题。云直播日志集有以下基本属性信息:
地域:日志集所属 地域
说明
目前支持广州和新加坡地域。
日志集名称:日志集命名。
日志保留时间:当前日志集里数据的保存时间周期,默认是30天。
创建时间:日志集创建时间。

日志主题

日志主题(Log Topic)是日志数据在日志服务(Cloud Log Service,CLS)平台进行采集、存储、检索和分析的基本单元,采集到的海量日志以日志主题为单元进行管理,包括采集规则配置、保存时间配置、日志检索分析以及日志下载/消费/投递等。
从场景功能上理解,日志主题主要提供:
采集日志到日志主题。
以日志主题为单元存储管理日志。
以日志主题为单元检索分析日志。
以日志主题为单元投递日志到其他平台。
从日志主题下载、消费日志。
说明
以上信息摘自日志服务(CLS)产品文档,详情见 日志/指标主题与日志集,请以日志服务(CLS)侧的说明为准。