首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >解析Prometheus PromQL

解析Prometheus PromQL

作者头像
charlieroro
修改于 2021-09-30 07:31:48
修改于 2021-09-30 07:31:48
1.6K0
举报
文章被收录于专栏:charlierorocharlieroro

解析PromQL

目前对Prometheus 的promQL 的解析文章比较少,且Prometheus官方也没有提供一个公共的库来对齐进行解析。下面实现对promQL的解析,并实现注入label功能。

表达式类型

AggregateExpr

对应聚合操作,如sum without (instance) (http_requests_total),定义可以查看Aggregation operators。源码定义在prometheus/promql/parser/lex.go

代码语言:javascript
AI代码解释
复制
	// Aggregators.
	"sum":          SUM,
	"avg":          AVG,
	"count":        COUNT,
	"min":          MIN,
	"max":          MAX,
	"group":        GROUP,
	"stddev":       STDDEV,
	"stdvar":       STDVAR,
	"topk":         TOPK,
	"bottomk":      BOTTOMK,
	"count_values": COUNT_VALUES,
	"quantile":     QUANTILE,

结构体如下,label位于AggregateExpr.Expr中:

代码语言:javascript
AI代码解释
复制
type AggregateExpr struct {
	Op       ItemType // The used aggregation operation.
	Expr     Expr     // The Vector expression over which is aggregated.
	Param    Expr     // Parameter used by some aggregators.
	Grouping []string // The labels by which to group the Vector.
	Without  bool     // Whether to drop the given labels rather than keep them.
	PosRange PositionRange
}
Call

对应函数调用,如absent(nonexistent{job="myjob"}),函数定义可以查看function。源码定义在Prometheus/promql/parser/function.go文件中,

代码语言:javascript
AI代码解释
复制
// Functions is a list of all functions supported by PromQL, including their types.
var Functions = map[string]*Function{
	"abs": {
		Name:       "abs",
		ArgTypes:   []ValueType{ValueTypeVector},
		ReturnType: ValueTypeVector,
	},
	"absent": {
		Name:       "absent",
		ArgTypes:   []ValueType{ValueTypeVector},
		ReturnType: ValueTypeVector,
	},
	"absent_over_time": {
		Name:       "absent_over_time",
		ArgTypes:   []ValueType{ValueTypeMatrix},
		ReturnType: ValueTypeVector,
	},
	"avg_over_time": {
		Name:       "avg_over_time",
		ArgTypes:   []ValueType{ValueTypeMatrix},
		ReturnType: ValueTypeVector,
	},

结构体如下,label位于Call.Args中:

代码语言:javascript
AI代码解释
复制
type Call struct {
	Func *Function   // The function that was called.
	Args Expressions // Arguments used in the call.

	PosRange PositionRange
}
ParenExpr

圆括号表达式,即表达式外面加了圆括号,如(up)(3*1),一般集成在BinaryExpr中,如1 + 2/(3*1),但根据ParenExpr

的定义,(1 + 2/(3*1))又变成了ParenExpr

结构体如下,label位于ParenExpr.Expr中:

代码语言:javascript
AI代码解释
复制
type ParenExpr struct {
	Expr     Expr
	PosRange PositionRange
}
UnaryExpr

一元表达式,如-some_metric+some_metric-1^2UnaryExpr只适用于获取标量结果的表达式。

结构体如下,label位于UnaryExpr.Expr中:

代码语言:javascript
AI代码解释
复制
type UnaryExpr struct {
	Op   ItemType
	Expr Expr

	StartPos Pos
}
BinaryExpr

多元表达式,使用二元运算符组合成的表达式,被运算符分割的表达式被保存到LHS和RHS树中

结构体如下,label位于BinaryExpr.LHSBinaryExpr.RHS中:

代码语言:javascript
AI代码解释
复制
type BinaryExpr struct {
   Op       ItemType // The operation of the expression.
   LHS, RHS Expr     // The operands on the respective sides of the operator.

   // The matching behavior for the operation if both operands are Vectors.
   // If they are not this field is nil.
   VectorMatching *VectorMatching

   // If a comparison operator, return 0/1 rather than filtering.
   ReturnBool bool
}
NumberLiteral

数字表达式,如10xc5e-3,该类型的表达式与UnaryExpr类似,也是集成到其他类型的表达式中使用的,单独使用并没有意义。

结构体如下,无label

代码语言:javascript
AI代码解释
复制
type NumberLiteral struct {
   Val float64

   PosRange PositionRange
}
StringLiteral

字符表达式,如"version",与NumberLiteral类似,一般会集成到其他表达式中,如count_values("version", build_version)

结构体如下,无label

代码语言:javascript
AI代码解释
复制
type StringLiteral struct {
   Val      string
   PosRange PositionRange
}
VectorSelector

瞬时向量,无需指定时间范围,如http_requests_total{job=~".*",method="get"}

结构体如下,label位于VectorSelector.LabelMatchers中:

代码语言:javascript
AI代码解释
复制
type VectorSelector struct {
   Name          string
   Offset        time.Duration
   LabelMatchers []*labels.Matcher

   // The unexpanded seriesSet populated at query preparation time.
   UnexpandedSeriesSet storage.SeriesSet
   Series              []storage.Series

   PosRange PositionRange
}
MatrixSelector

区间向量,需指定时间范围,如http_requests_total[1m]{job=~".*",method="get"}[1m]

结构体如下,label位于MatrixSelector.LabelMatchers中:

代码语言:javascript
AI代码解释
复制
type MatrixSelector struct {
   Name          string
   Range         time.Duration
   Offset        time.Duration
   LabelMatchers []*labels.Matcher

   // The series are populated at query preparation time.
   series []storage.Series
}
SubqueryExpr

子查询表达式,支持指定查询范围和精度,其实就是MatrixSelector加了精度功能。格式为<instant_query> '[' <range> ':' [<resolution>] ']',如rate(http_requests_total[5m])[30m:1m],官方定义参见Subquery

结构体如下,label位于SubqueryExpr.Expr中:

代码语言:javascript
AI代码解释
复制
type SubqueryExpr struct {
	Expr   Expr
	Range  time.Duration
	Offset time.Duration
	Step   time.Duration

	EndPos Pos
}

小结:一般日常中使用的表达式可以分为多元表达式和非多元表达式两种。多元表达式里面是被二元运算符分隔的非多元表达式。一般使用的非多元表达式有:AggregateExprCallVectorSelectorMatrixSelectorSubqueryExpr用的比较少

PromQl的解析

从上面分析可以看出,Prometheus的查询语句的基本类型为:NumberLiteralStringLiteralVectorSelectorMatrixSelector,前两个本身就没有任何标签,后两个有明确的结构体来保存标签。其他类型只是这四种基本类型的组合。

Prometheus源码的eval函数(位于Prometheus/promql/engine.go文件中)对分别不同类型的promQL进行了处理,可以参考此处代码。

解析代码如下:

代码语言:javascript
AI代码解释
复制
import (
	"fmt"
	"github.com/pkg/errors"
	"github.com/prometheus/prometheus/promql/parser"
	"github.com/prometheus/prometheus/pkg/labels"
)

func injectLabels(expr parser.Expr, match labels.MatchType, name,value string){
	switch e := expr.(type) {
	case *parser.AggregateExpr:
		injectLabels(e.Expr,match,name,value)
	case *parser.Call:
		for _,v := range e.Args{
			injectLabels(v,match,name,value)
		}
	case *parser.ParenExpr:
		injectLabels(e.Expr,match,name,value)
	case *parser.UnaryExpr:
		injectLabels(e.Expr,match,name,value)
	case *parser.BinaryExpr:
		injectLabels(e.LHS,match,name,value)
		injectLabels(e.RHS,match,name,value)
	case *parser.VectorSelector:
		l := genMetricLabel(match,name,value)
		e.LabelMatchers = append(e.LabelMatchers, l)
		return
	case *parser.MatrixSelector:
		injectLabels(e.VectorSelector,match,name,value)
	case *parser.SubqueryExpr:
		injectLabels(e.Expr,match,name,value)
	case *parser.NumberLiteral,*parser.StringLiteral:
		return
	default:
		panic(errors.Errorf("unhandled expression of type: %T", expr))
	}
	return
}

func genMetricLabel(match labels.MatchType, name,value string) *labels.Matcher{
	m,err := labels.NewMatcher(match,name,value)
	if nil != err {
		return nil
	}

	return m
}

使用方式如下,在rate(http_requests_total[5m])[30m:1m]种注入"appName !~ testAppName"的表达式,输出结果为:rate(http_requests_total{appname!~"testAppName"}[5m])[30m:1m]

代码语言:javascript
AI代码解释
复制
func main() {
	ql := `rate(http_requests_total[5m])[30m:1m]`
	expr,_ := parser.ParseExpr(ql)
	injectLabels(expr,labels.MatchNotRegexp,"appName","testAppName")
	fmt.Println(expr.String())
}

Prometheus支持如下四种匹配模式:

代码语言:javascript
AI代码解释
复制
MatchEqual:     "=",
MatchNotEqual:  "!=",
MatchRegexp:    "=~",
MatchNotRegexp: "!~",

TIPs

  • 只有较高版本的Prometheus库才能支持解析SubqueryExpr,但直接通过go mod tidy命令(目前)只能获取到 v2.5.0版本,该版本并不支持解析SubqueryExpr。可以在GitHub上找到对应版本的tag,然后执行go get github.com/prometheus/prometheus@${commitId}来获得该版本。需要注意的是执行之后go.mod中的Prometheus版本为v1.8.2,可以忽略此版本标记。具体参见该issue
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-09-14 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
直播回顾 | DevOps 代码质量实战第三课
关注腾讯云大学,了解行业最新技术动态 戳【阅读原文】观看完整课程回顾 讲 师 介 绍  连续创业者、DIY/Linux 玩家、知乎小 V,曾在创新工场、百度担任后端开发。十余年一线研发和带队经验,经历了 ToB、ToC、O2O、国内、出海各种项目,见证了云计算时代的诞生,擅长研发最佳实践:Code Review、DevOps、Git Workflow、敏捷开发、架构、极客办公硬件。  Java 老项目常见质量问题 问题一:把 Jar 包提交到了代码库 Jar 包等二进制文件无法进行文本对比,体
腾讯产业互联网学堂1
2023/05/29
2030
直播回顾 | DevOps 代码质量实战第三课
DevOps 代码质量实战(Java 版)
查看完整直播回放:https://cloud.tencent.com/edu/learning/live-2859
可可爱爱没有脑袋
2020/10/16
9240
​CODING DevOps 代码质量实战系列第二课: PHP 版
连续创业者、DIY/Linux 玩家、知乎小 V,曾在创新工场、百度担任后端开发。十余年一线研发和带队经验,经历了 ToB、ToC、O2O、国内、出海各种项目,见证了云计算时代的诞生,擅长研发最佳实践:Code Review、DevOps、Git Workflow、敏捷开发、架构、极客办公硬件。
腾讯云 CODING
2020/09/03
5510
​CODING DevOps 代码质量实战系列第二课: PHP 版
DevOps 代码质量实战(PHP 版)
查看完整直播回放:https://cloud.tencent.com/edu/learning/live-2857
可可爱爱没有脑袋
2020/10/16
7750
​CODING DevOps 线下沙龙回顾一:DevOps 代码质量实战
11 月 22 日,由 CODING 主办的 DevOps 技术沙龙系列「质量」专场在上海圆满结束。在活动现场,四位来自腾讯等知名企业的技术大咖们分享了研发质量与效能的实战经验,与观众们共同探讨如何采取有效手段以保证和提高软件质量。
腾讯云 CODING
2020/12/07
1.1K0
​CODING DevOps 线下沙龙回顾一:DevOps 代码质量实战
​CODING DevOps 代码质量实战系列第一课:代码规范与 Git Flow
连续创业者、DIY/Linux 玩家、知乎小 V,曾在创新工场、百度担任后端开发。十余年一线研发和带队经验,经历了 ToB、ToC、O2O、国内、出海各种项目,见证了云计算时代的诞生,擅长研发最佳实践:Code Review、DevOps、Git Workflow、敏捷开发、架构、极客办公硬件。
腾讯云 CODING
2020/08/25
5350
​CODING DevOps 代码质量实战系列第一课:代码规范与 Git Flow
​CODING DevOps 代码质量实战系列最后一课,周四发车
随着 ToB(企业服务)的兴起和 ToC(消费互联网)产品进入成熟期,线上故障带来的损失越来越大,代码质量越来越重要,而「质量内建」正是 DevOps 核心理念之一。
腾讯云 CODING
2020/08/12
4640
​CODING DevOps 代码质量实战系列第二课,相约周三
随着 ToB(企业服务)的兴起和 ToC(消费互联网)产品进入成熟期,线上故障带来的损失越来越大,代码质量越来越重要,而「质量内建」正是 DevOps 核心理念之一。《DevOps 代码质量实战(PHP 版)》 为 CODING DevOps 代码质量实战系列的第二课,同时也是本系列的 PHP 版,杨周老师将以 PHP Laravel 为例,为同学们讲解代码规范、Git workflow、持续集成、代码生成 API 文档、开发 composer 包、单元测试、Docker 等内容。
腾讯云 CODING
2020/08/11
3440
CODING DevOps 8月系列线上直播课开始报名啦!
关注腾讯云大学,了解行业最新技术动态 腾讯云大学,CODING DevOps 8月份系列直播分享课活动报名开始啦~ 此次课程分有两期,每期都包含了3个课时,循序渐进, 从夯实基础,到一场又一场的实战经验分享,让你飞速成长。 现在报名并参与集赞活动还有精美礼品等着你, 在学习之余,积极参与活动,跟我们一起传播分享云计算前沿技术知识吧! 叮咚~【腾讯云大学】提醒你,你有一份课程快递待取中哦~ 8月直播课 |第一期 8月11日—8月13日 每晚19:00——20:00 腾讯云大学重磅推出 《CODING D
腾讯产业互联网学堂1
2023/05/29
3720
CODING DevOps 8月系列线上直播课开始报名啦!
DevOps 代码质量实战:代码规范与 Git Flow
查看完整直播回放:https://cloud.tencent.com/edu/learning/live-2837
可可爱爱没有脑袋
2020/10/16
1.5K0
腾讯云推出一站式 DevOps 解决方案 —— CODING DevOps
---- 在产业互联网的大背景下,如何将人工智能、大数据等前沿技术与实体产业相结合,推动传统企业转型升级,已经成为每一个企业不得不思考的问题。落后的软件研发能力已经拖慢了中国大量企业的数字化转型进程。 为了满足企业数字化转型需求,腾讯云正式推出了一站式 DevOps 解决方案 —— CODING DevOps,帮助企业解决代码资源混乱、发布流程低效、管理模式滞后、高昂的 IT 建设维护成本等造成转型效率低下的问题。CODING DevOps 打通企业研发任督二脉,让云上开发更简单,让数字化转型更加
腾讯云serverless团队
2019/09/04
4K0
腾讯云推出一站式 DevOps 解决方案 —— CODING DevOps
多图流带你玩转CODING DevOps
说人话就是可以把软件开发流程的制定计划、需求分析、软件设计、程序编写、软件测试和运行维护等六个基本活动在CODING上来实现
wayn_aqua
2021/07/11
1.9K0
多图流带你玩转CODING DevOps
​CODING DevOps 代码质量实战系列第一课,本周开讲!
随着 ToB(企业服务)的兴起和 ToC(消费互联网)产品进入成熟期,线上故障带来的损失越来越大,代码质量越来越重要,而「质量内建」正是 DevOps 核心理念之一。本次 CODING DevOps 代码质量实战系列第一课:《DevOps 代码质量实战:代码规范与 Git Flow》,将由 CODING 布道师、CODING DevOps 架构师杨周老师主讲,为同学们详细讲解提高代码质量的最佳实践,不只适合新项目,也为老项目提供完善的渐进式方案。
腾讯云 CODING
2020/08/10
4580
如何使用 CODING 实践 DevOps 全流程
你好,欢迎使用 CODING!这份最佳实践将帮助你通过 CODING 来更好地实践 DevOps 流程。
腾讯云 CODING
2019/09/16
1.8K0
从 DevOps 到 Serverless
DevOps 提倡通过一系列的技术和工具降低开发和运维人员之间的隔阂,实现从开发到最终部署的全流程自动化,从而达到开发运维一体化。通过将 DevOps 的理念引入到整个系统的开发过程中,能够显著提升软件的开发效率,缩短软件交付的周期,更加适应当今快速发展的互联网时代。
DevOps时代
2019/10/14
7010
从 DevOps 到 Serverless
CODING 敏捷实战系列课第四讲:从头搭建持续集成 DevOps 流水线
大家好,今天课程的主要内容为如何从头搭建 DevOps 流水线以及其在研发工作中的意义,最后是 DevOps 流水线实践与敏捷开发的关系的总结。
腾讯云 CODING
2020/05/15
1K0
CODING 敏捷实战系列课第四讲:从头搭建持续集成 DevOps 流水线
​CODING 敏捷实战系列课第四讲:从头搭建持续集成 DevOps 流水线
大家好,今天课程的主要内容为如何从头搭建 DevOps 流水线以及其在研发工作中的意义,最后是 DevOps 流水线实践与敏捷开发的关系的总结。
腾讯云 CODING
2020/05/15
1.1K0
​CODING 敏捷实战系列课第四讲:从头搭建持续集成 DevOps 流水线
​DevOps 视角的前后端分离与实战
随着微前端、微服务等技术理念和架构的蓬勃发展,我们已经没必要去讨论为什么要前后端分离这种话题,前后端分离已成为互联网项目开发的标准模式。前后端在各自的领域发展越来越纵深。
腾讯云 CODING
2020/11/03
1.2K0
保证代码质量的工具与方法——细节决定成败
大家好,我是Echo_Wish,今天我们要聊的是一个在开发过程中至关重要的话题:代码质量。高质量的代码不仅能使开发过程更加顺利,减少Bug和故障,还能提高团队的工作效率和产品的维护性。那么,如何保证代码质量呢?下面我将详细介绍几种工具和方法,希望对你有所帮助。
Echo_Wish
2025/03/07
3760
保证代码质量的工具与方法——细节决定成败
自动化 DevOps 使用 Codeclimate 执行代码质量分析
注意:这里 Codeclimate 是需要依赖本地 Docker 容器来运行执行代码分析的,所以需要提前安装好 Docker, 这里忽略 Docker 的安装过程。
哎_小羊
2019/05/25
3.7K1
推荐阅读
相关推荐
直播回顾 | DevOps 代码质量实战第三课
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档