操作场景
日志数据分散在多个主题中时,可使用 SQL 跨主题进行统计分析,例如以下场景:
微服务架构下,每个服务的日志存储在不同主题中,需按照请求 ID 汇总查询各个服务的耗时。
日志分为报错日志和业务访问日志,存储在不同主题中,需根据报错日志中的用户 ID、订单 ID 等信息在访问日志中查询关联的访问记录。
前提条件
日志接入标准存储,低频存储不支持使用 SQL 进行统计分析。
关联分析多个主题时,需同时具备这些主题的查询权限,否则会因无权限而导致查询报错。最大支持同时关联分析5个日志主题。
操作步骤
语法规则
表名
表名为主题 ID,主题 ID 中包含特殊字符
-,在 SQL 中需使用双引号包裹,例如"0c037c7c-dbf0-4646-bb8b-9e414e5928f7";查询当前主题中的数据时,可使用
log代表当前主题,也可省略。例如* | select * from log、* | select *。查询时间范围
SQL 默认沿用查询语句整体指定的时间范围,如果关联查询的多个主题使用相同的时间范围,无需在 SQL 中额外指定查询时间范围,参见 示例;
如需单独指定主题的查询时间范围,可使用 WHERE 语法 对日志时间
__TIMESTAMP__进行过滤。检索条件
例如以下查询中,
18cae058-c290-xxx-ade9-97d8eca2c86a不是当前日志主题 ID,检索条件level:error并没有生效,count(*)统计到的是全部日志条数。level:error | select count(*) from "18cae058-c290-xxx-ade9-97d8eca2c86a"
如需统计该主题的错误日志条数,可使用如下语句:
* | select count(*) from "18cae058-c290-xxx-ade9-97d8eca2c86a" where level = 'error'
示例
场景描述
某业务系统包含两个服务,订单管理服务的日志存储在主题 A 中,支付服务的日志存储在主题 B 中,需根据请求 ID 查询各个服务的耗时。
日志主题 A 的 ID 为
"0c037c7c-dbf0-4646-bb8b-9e414e5928f7",日志数据如下。{"RequestId": "4f7g2k9m","timeCost": 856,"timestamp": "2024-01-31T19:44:08+08:00",},{"RequestId": "6m4v1ztf","timeCost": 1452,"timestamp": "2024-01-31T19:45:08+08:00",}
日志主题 B 的 ID 为
"8c05119c-c3e8-4e8f-95b7-81eab4702b0a",日志数据如下。{"reqid": "4f7g2k9m","costms": 247,"timestamp": "2024-01-31T19:44:08+08:00",},{"reqid": "6m4v1ztf","costms": 365,"timestamp": "2024-01-31T19:45:08+08:00",}
查询语句
在订单管理服务日志主题 A 中执行该查询语句。
* |SELECTorder_service.RequestId,order_service.timeCost AS "订单管理服务耗时",pay_service.costms AS "支付服务耗时"FROMlog AS order_serviceJOIN "8c05119c-c3e8-4e8f-95b7-81eab4702b0a" AS pay_serviceON order_service.RequestId = pay_service.reqidLIMIT 100
查询结果
RequestId | 订单管理服务耗时 | 支付服务耗时 |
4f7g2k9m | 856 | 247 |
6m4v1ztf | 1452 | 365 |