开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

什么^和!代表ANTLR语法

ANTLR是一种强大的语言识别工具，它可以根据用户定义的语法规则生成词法分析器和语法分析器。在ANTLR语法中，^和!是两个特殊的操作符。

"^"操作符：在ANTLR语法中，^操作符用于表示某个规则的上级规则。它可以用来构建语法树，表示某个规则是另一个规则的父规则。在语法规则中使用^操作符可以帮助我们建立语法树结构，从而更好地理解和处理输入的语言。
"!"操作符：在ANTLR语法中，!操作符用于表示否定。它可以用来排除某些特定的语法结构，以便更精确地匹配和处理输入的语言。使用!操作符可以帮助我们过滤掉不需要的语法结构，提高语法分析的准确性和效率。

ANTLR语法是一种强大的工具，可以用于构建各种语言的编译器、解释器、代码生成器等。它具有灵活的语法定义和强大的语法分析能力，可以帮助开发人员快速构建和处理复杂的语言结构。

腾讯云相关产品和产品介绍链接地址：

腾讯云服务器（CVM）：https://cloud.tencent.com/product/cvm
腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
腾讯云物联网（IoT）：https://cloud.tencent.com/product/iotexplorer
腾讯云存储（COS）：https://cloud.tencent.com/product/cos
腾讯云区块链（Blockchain）：https://cloud.tencent.com/product/baas
腾讯云元宇宙（Metaverse）：https://cloud.tencent.com/product/metaspace

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

使用antlr4构造我的语法树

编译器的前端和后端。前端指的是编译器对程序代码的分析和理解。前端阶段只与语言的语法有关，而和目标机器无关。后端则是生成目标机器的目标代码有关。第一节说说编译器的前端技术。

Hive源码系列（七）编译模块之词法、语法解析（中）

这篇主要举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码，获取asttree。这些都是hive获取asttree的过程，理解了这些，再理解hive的asttree就很容易了

04

Antlr4 语法解析器(下)

Antlr4 的两种AST遍历方式：Visitor方式和 Listener方式。

02

Antlr4实战：统一SQL路由多引擎

ANTLR是一款功能强大的语法分析器生成器，可用来读取、处理、执行和转换结构化文本或二进制文件。它被广泛应用于学术界和工业界构建各种语言、工具和框架。Antlr在Hadoop整个生态系统应用较为广泛，如Hive 词法文件是Antlr3写的；Presto词法文件也Antlr4实现的；SparkSQL词法文件是用Presto的词法文件改写的；还有HBase的访问客户端Phoenix也用Antlr工具进行SQL解析的等等。

04

笔记：写Flink SQL Helper时学到的一些姿势

这块其实是编译原理的一部分，属于前端编译部分，并未涉及后端编译。见：github.com/camilesing/…中的 // 使用生成的词法分析器和解析器进行语法检查 const inputStream = new ANTLRInputStream(event.getText()); //词法解析 const lexer = new FlinkSQLLexer(inputStream); const tokenStream = new CommonTokenStream(lexer); //语法解析 const parser = new FlinkSQLParser(tokenStream); parser.removeErrorListeners(); parser.addErrorListener({ syntaxError: (recognizer: Recognizer<any, any>, offendingSymbol: any, line: number, charPositionInLine: number, msg: string, e: RecognitionException | undefined): void => { vscode.window.showErrorMessage("Parser flink sql error. line: " + line + " position: " + charPositionInLine + " msg: " + msg); }, }) parser.compileParseTreePattern // 解析文件内容并获取语法树 const parseTree = parser.program(); 写这块代码我用到了Antlr4-TS这个库。我根据一些Antlr4的语法规则，生成了对应的代码，并将输入内容丢进这些类，让它们吐出结果。在了解Antlr相关的语法规则时，让我特别震撼——类似于刚毕业一年时接触到DSL时的震撼。通过一系列规则的描述，竟然可以生产如此复杂、繁多的代码，巨幅解放生产力。这些规则是一种很美又具有实际价值的抽象。那让我们抛开Antlr这个框架的能力，如果去手写一个词法、语法分析的实现，该怎么做呢？在编程语言里，一般会有保留字和标识符的概念。保留字就是这个语言的关键字，比如SQL中的select，Java中的int等等，标识符就是你用于命名的文字。比如public class Person中的Person，select f1 as f1_v2 from t1 中的f1,f1_v2,t1。再扩展一下概念，我们以int a=1;这样一段代码为例子，int 是关键字，a是标识符，=是操作符，;是符号（结束符）。搞清楚哪些词属于什么类型，这就是词法解析器要做的事。那怎么做呢？最简单的方法其实就是按照一定规则（比如A-Za-z$）一个个去读取，比如读到i的时候，它要去看后面是不是结束符或者空格，也就上文提到的的peek，如果不为空，就要继续往后读，直到读到空格或者结束符。那么读取出来是个int，就知道这是个关键字。伪代码如下：循环读取字符 case 空白字符处理，并继续循环 case 行结束符处理，并继续循环 case A-Za-z$_ 调用scanIden()识别标识符和关键字，并结束循环 case 0之后是X或x，或者1-9 调用scanNumber()识别数字，并结束循环 case , ; ( ) [ ]等字符返回代表这些符号的Token，并结束循环 case isSpectial()，也就是% * + - | 等特殊字符调用scanOperator()识别操作符 ... 这下我们知道了int a=1;在词法解析器看来其实就是关键字（类型）标识符操作符数字结束符。这样的写法其实是符合Java的语法规则的。反过来说：int int=1;是能够通过词法分析的，但是无法通过语法分析，因为关键字（类型）关键字（类型）操作符数字结束符是不符合Java的语法定义的。这个时候可能会有人问，为啥要有词法分析这一层？都放到语法分析这一层也是可以做的啊。可以做，但会很复杂。而且一般软件工程中会都做分层，避免外面的变动影响到里面的核心逻辑。举个例子：后续Java新增了一个类型，如果词法分析、语法分析是拆开的，那么只要改词法分析层的一些代码就行了，语法分析不用。但是如果没有词法分析这一层，语法分析的代码会有很多，而且一点点改动就很容易影响到这一层。在此之后就会生成语法树。后续我打算做一些基于语法树的分析，Antlr提供了两种读语法节点的方式，一种是Vistor，一种是Listeners。前者意

01

antlr4入门篇

ANTLR实际上有两件事：一种将您的语法转换为Java（或其他目标语言）的解析器/词法分析器的工具，以及生成的解析器/词法分析器所需的运行时。即使您使用ANTLR Intellij插件或ANTLRWorks来运行ANTLR工具，生成的代码仍将需要运行时库。

01

用 Antlr 重构脚本解释器

在上一个版本实现的脚本解释器 GScript 中实现了基本的四则运算以及 AST 的生成。

01

回波总 - 为什么我不赞同你关于 ANTLR 不适合模板引擎的意见

在谈谈我对 JFinal Marketing 的一些看法那篇博文的评论中我们谈论到了 ANTLR, 这里继续和波总谈谈在技术上我对这方面的理解.

03

Calcite系列(六)：执行流程-语法解析

目前广泛使用的语法解析框架主要包括ANTLR、JavaCC和Yacc等。在大数据领域中，很多计算引擎都是基于ANTLR进行语法解析，例如 Hive、Spark和Presto等都基于ANTLR进行处理。然而，Calcite使用JavaCC编译器进行语法解析。

07

Hive源码系列（六）编译模块之词法、语法解析（上）

词法、语法解析模块会先介绍一下antlr环境（上）。然后举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码，获取asttree。这些都是hive获取asttree的过程，理解了这些，再理解hive的asttree就很容易了（中）。最后详细介绍hive词法、语法解析的源码以及hive AstTree的使用（下）

02

M语言编程_所有编程语言大全

一直对技术有很强的兴趣，终于，决定要写自己的语言（m语言）。那就先从最简单的开始：解释执行器。

03

Antlr4的相关用法

ANTLR (ANother Tool for Language Recognition) 是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本或二进制文件。他被广泛用来构建语言，工具和框架。ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器。

06

日常运维｜语法分析解析工具之ANTLR4（一）

用ANTLR实现数据加载器、语言解释器、语言翻译器。基于自动生成的语法分析树解析文件。简单来说就是，ANTLR根据用户自定义的语法文件自动生成词法分析器和语法分析器，并将输入文本处理为语法分析树（可视化）。ANTLR 是一款强大的语法分析器生成工具，可用于读取、处理、执行和翻译结构化的文本或二进制文件。

02

如何实现一个SQL解析器

随着技术的不断的发展，在大数据领域出现了越来越多的技术框架。而为了降低大数据的学习成本和难度，越来越多的大数据技术和应用开始支持SQL进行数据查询。SQL作为一个学习成本很低的语言，支持SQL进行数据查询可以降低用户使用大数据的门槛，让更多的用户能够使用大数据。

03

探究Presto SQL引擎(1)-巧用Antlr

自2014年大数据首次写入政府工作报告，大数据已经发展7年。大数据的类型也从交易数据延伸到交互数据与传感数据。数据规模也到达了PB级别。

01

浅尝antlr4

这次使用antlr的诱因是whosbug中使用的ctags（另一个语法分析器）只对c系语言支持较好，对java等语言的支持欠佳（甚至可以说很差了），为了whosbug的鲁棒性我认为还是有必要换一个语法分析器的

02

[Spark SQL] 源码解析之Parser

Parser就是将SQL字符串切分成一个个Token，再根据一定语义规则解析为一棵语法树。我们写的sql语句只是一个字符串而已，首先需要将其通过词法解析和语法解析生成语法树，Spark1.x版本使用的是scala原生的parser语法解析器，从2.x后改用的是第三方语法解析工具ANTLR4，在性能上有了较大的提升。

03

用antlr解析odata filter条件表达式

我最早接触antlr，是在刚开始工作后不久，那次需要用antlr实现一个功能：把gemfire的OQL（object query language）翻译成SQL语句，以便进行数据库操作。其实，简单讲，antlr就是一个非常方便的词法分析和语法分析的类库，基于这个类库，可以很容易的实现很多场景，比如计算器算术表达式的解析、各种编程语言的解析等。

01

我参与阿里巴巴 ASoC-Seata 的一些感悟

我先来说说 Seata 这个项目的 idea 是怎么来的。一直就有参与开源项目的打算，一个事物的兴起必定或大或小引发一定的问题，微服务就是这样，分布式事务概念泛化的同时，也带来了一个技术问题，微服务架构下分布式数据一致性该如何保证？这几年涌现出不少分布式事务框架，比如ByteTCC、TCC-transaction、EasyTransaction 以及最近很火爆的 Seata。想要破解罪恶，就必须接近它，甚至成为它。我是去年 8 月份从 GitHub 开始关注 Seata 项目的，初步熟悉后，我觉得它的设计理念非常好，我对它产生了浓厚的兴趣，那个时候就萌发了我要成为这个项目的贡献者。偶然的机会看到 Seata issue发现了 ASoC 这个活动。

02

打破国外垄断，开发中国人自己的编程语言（1）：编写解析表达式的计算器

本文是《打破国外垄断，开发中国人自己的编程语言》系列文章的第1篇。本系列文章的主要目的是教大家学会如何从零开始设计一种编程语言（marvel语言），并使用marvel语言开发一些真实的项目，如移动App、Web应用等。marvel语言可以通过下面3种方式运行：

04

探究Presto SQL引擎(1)-巧用Antlr

自2014年大数据首次写入政府工作报告，大数据已经发展7年。大数据的类型也从交易数据延伸到交互数据与传感数据。数据规模也到达了PB级别。

03

一文了解函数式查询优化器Spark SQL Catalyst

记录一下个人对sparkSql的catalyst这个函数式的可扩展的查询优化器的理解，目录如下：

02

Antlr实战之JSON解析器slowjson

最近一直在学习编译原理，然后就了解到了antlr4这个强大的工具，antlr的全称是(Another Tool for Language Recognition)，是一款很强大的词法和语法分析工具，虽然是用java写成的，但它也能生成c++、go……等语言的代码。它的主要作用就是你可以用巴科斯范式来描述语法规则，然后它帮你生成对应的解析器。

01

能“理解代码”的缺陷分配服务之技术内核

如果缺陷没有分配给正确的人，会导致重要缺陷不断流转，很慢才能解决；而在流转的过程中会增加大量的交接成本——我们观察到一个简单的缺陷在流转中会浪费超过5天（见下图）。而且把缺陷分配给错误的人还可能导致被分配人不知道此缺陷的前因后果，修改缺陷时容易犯错，引发新的问题。

04

如何用代码为代码建模？

去年年底，在公司大佬的带领下，我们结合架构守护的需要，对代码进行了简单的建模。在过去的几个月里，我一直工作在相关的事项上，不断地优化、改进相关的模型：

01

Whosbug 2021项目日志

whosbug经手了多个团队的近20人，历史团队中：大家分别负责插件和数据流转的设计实现和优化、责任归属算法的设计实现与优化、antlr语法AST分析的多语言适配实现以及项目协同的管理；当前主要由kevineluo和kevinmatthe负责维护以及开源相关的规划，同时开源团队也有其它8位同学一起协作共建

03

扩展 Spark SQL 解析

大家好久不见了，最近生活发生了很多变故，同时我也大病了一场，希望一切都尽快好起来吧。今天跟大家分享下Spark吧，谈谈如何修改Spark SQL解析，让其更符合你的业务逻辑。好，我们开始吧...

07

Whosbug项目日志2

whosbug经手了多个团队的近20人，历史团队中：大家分别负责插件和数据流转的设计实现和优化、责任归属算法的设计实现与优化、antlr语法AST分析的多语言适配实现以及项目协同的管理；当前主要由kevineluo和kevinmatthe负责维护以及开源相关的规划，同时开源团队也有其它8位同学一起协作共建

03

如何愉快地写个小parser

（一）在前几日的文章『软件随想录』里，我随性写了一句：「现在似乎已经不是lex/yacc 或 bison/flex的时代了。我亲眼看见一个同事在费力地用perl一行行解析某个系统的数据文件，却压根没想到写个BNF。BNF对他来说，不是一种选择。」很多同学不解，问我：lex/yacc不是写编译器 [1] 的么？我又不发明新的语言，它们对我有什么用？从这个问题里，我们可以见到国内本科教育荼毒之深。象牙塔里的讲编译原理的老师们，估计用lex/yacc也就是写过个毫无用处的toy language，然后把自己

Chapi —— 一个通用语言元信息转换器

来，一起用高效（hard way）的方式学习多种编程语言，Kotlin + Scala、Python、Go、Java、TypeScript、C#……

02

Milvus 向量数据库如何实现属性过滤

如下图所示，Milvus 运用 EBNF 语法，此处用等式和语法图体现了 Milvus 所支持的查询表达式的整体规则。

03

mybatis翻译插件

mybatis-antlr-demo（moxa-lzf/mybatis-antlr-demo (github.com)）基于自研的引擎写的mybatis翻译插件，采用mysql语法，做到向其他数据库翻译，做到不改代码情况下，在mysql和pg环境下运行，其他数据库现阶段请勿使用，理论上可以支持任意数据库，语法也会在将来兼容其他数据库语法

代码的代码化语言: Charj

去年，和公司的大佬讨论了一系列关于代码的代码化，还记录了一些笔记。在那之后，我开始了各种尝试：如何将代码转变化代码。原先有一些思路，而后过了一年之后，慢慢地练习，又有了一些新的收获。

02

如何设计领域特定语言，实现终极业务抽象？

在过去的几年里，我一直从事于各种领域定义语言的设计，包含 unflow、guarding、datum、forming 等。在我刚入门这个领域的时候，我从《领域特定语言》、《编程语言实现模式》等，一直研究到龙书等。我渐渐掌握了领域特定语言设计的一些技巧，也能快速（相对于过去）设计出一个领域特定语言。

05

一门语言的作用域和函数调用是如何实现的

上次利用 Antlr 重构一版用 Antlr 重构脚本解释器之后便着手新增其他功能，也就是现在看到的支持了作用域以及函数调用。

04

手写一个简化版的 Spring Cloud！

你好，我是 Guide！这里是 JavaGuide 的「优质开源项目推荐」第 9 期，每一期我都会精选 5 个高质量的 Java 开源项目。

02

代码分析与自动化重构工具集：Modernizing

应对于这些问题，其中的一个解决方案就是：自动化的工具，有些人喜欢称之为器。支撑这些工具的便是一系列的原则与模式，将它们融入到工具之中。另外一个解决人成长的方案就是：元元（meta-meta），这是另外一个故事。

03

[Spark SQL] 主要执行流程

SparkSql的第一件事就是把SQLText解析成语法树，这棵树包含了很多节点对象，节点可以有特定的数据类型，同时可以有0个或者多个子节点，节点在SparkSQL中的表现形式为TreeNode对象。举个实际的例子：

01

分布式sql引擎原理分析-逻辑执行计划生成

本文档以当前流行的分布式大数据查询引擎Presto为切入点，分析一个query语句怎么生成为一个分段的逻辑计划。

分布式sql引擎原理分析-逻辑执行计划生成

不管是传统数据库或者基于sql的分布式大数据分析工具，基本原理都是把一个sql转换成sql语法树(AST)，通过对语法树的分析转换成执行计划。传统数据库会根据执行计划通过执行引擎并返回结果；而大数据sql分析工具，由于针对更大数据量而生，为了更好的扩展性、容错性和高可用，会把执行计划分成逻辑执行计划和物理执行计划，并且根据查询sql的特点切分逻辑计划，这样可以把分块的逻辑计划分配到更具扩展性的并行节点，最后根据逻辑执行计划转成物理执行计划进行查询。

02

【Flink】第二十八篇：Flink SQL 与 Apache Calcite

【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失

03

精读《设计模式 - Interpreter 解释器模式》

意图：给定一个语言，定义它的文法的一种表示，并定义一个解释器。这个解释器使用该表示来解释语言中的句子。

02

会员权益核心引擎ZCube原理与实践

Tech 导读目前会员权益业务已经步入成熟期，自有场用户已经趋于饱和状态，而新的突破口是利用权益和积分杠杆来撬动商城场的用户，达到金融App用户增长，能撬动多少用户就要联合金融各业务线、利用权益来进行用户的渗透，而每个业务线对权益的渗透过程，都有着各自的利益点和独到之处。因此权益系统能否支持“业务规则类需求”的灵活定制占据举足轻重的地位。如何解决规则开发的效率问题，最大化解放开发团队成为目前最大的技术挑战点。规则引擎作为特定领域工具，顺理成章的成为这个挑战点的“关键解法”。有了明确的目标和诉求后，本文调研了常见的规则引擎系统，对Drools、Urule、Aviator、QLExpress等功能做了深入的源码研究，结合目前的业务场景开发了一款适合自身业务功能的规则引擎：ZCube，它既包含了丰富的可视化规则建模设计器，如：脚本式、向导式等，又支持高可用易扩展的架构体系。支持将多个规则打包为知识包文件，在管控平台和业务系统之间进行灰度发布推送、全量发布推送、推送轨迹管理、版本管理、历史版本回退以及知识包执行告警、健康度监控等，实现了让业务规则以知识的形式保存在知识库中，可以在规则发生变动时轻易做出修改，结合后管下发能力实现规则热插拔和热更新。同时可视化界面更易于理解，可以有效地弥补业务分析师和开发人员之间的沟通问题。

01

Spark SQL源码研读系列01：ParseTree

ANTLR是Another Tool for Language Recognition的缩写。

02

Whosbug项目日志1

从八月份的企业实训到现在，关于whosbug断断续续也开发了一个多月了（实际开发时间），

04

「ShardingSphere」SQL 解析器源码剖析

自从上周写了一个 ShardingSphere 简单入门之后，突然对这个产品产生了浓厚的兴趣。

04

Hive SQL底层执行过程详细剖析（好文收藏）

Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。

03

使用 Roslyn 编译器服务

.NET Core和 .NET 4.6中的C# 6/7 中的编译器Roslyn 一个重要的特性就是"Compiler as a Service"，简单的讲，就是就是将编译器开放为一种可在代码中调用的服务，通常在工作流引擎或是规则引擎中都需要一项功能是计算表达式，在没有Roslyn 之前我通常借助于Antlr [Antlr（“又一个语言识别工具”的缩写）是一个最初用Java编写的库，可以根据特殊的语法（文法）来构建复杂的解析器代码。它就像是一个用于语言解析的加强版的正则表达式。你可以编写某种语言的语法

08

元数据：跨引擎超完备字段级血缘关系解题方法

元数据是关于数据的数据，是对数据的描述，元数据又分为三类：管理元数据、业务元数据和技术元数据。而字段或表级血缘关系就是技术元数据，关于业务元数据和管理元数据等元数据相关知识笔者给出前期文章分享链接，笔者这里不再赘述。

05

Spark SQL 整体介绍

sparksession rdd sparkcontext sparksql sqlcontent dstream streammingcontext hivesql hivecontext

01

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭