在Antlr4中，如何确定哪些词法分析器子标记匹配？

在Antlr4中，词法分析器子标记的匹配是通过定义词法规则和使用正则表达式来实现的。词法规则定义了词法分析器应该如何将输入流划分为不同的词法单元。每个词法规则由一个标识符和一个正则表达式组成，用于匹配输入流中的子字符串。

当Antlr4进行词法分析时，它会按照定义的词法规则从输入流中逐个字符地匹配子字符串。当匹配到一个子字符串时，Antlr4会检查该子字符串是否与任何一个词法规则的正则表达式匹配。如果匹配成功，Antlr4会将该子字符串标记为相应的词法单元，并继续匹配下一个子字符串。

在确定哪些词法分析器子标记匹配时，Antlr4遵循以下规则：

Antlr4按照词法规则的定义顺序逐个匹配子字符串。
如果多个词法规则的正则表达式都能匹配当前子字符串，Antlr4会选择最长的匹配。这意味着如果一个子字符串可以匹配多个词法规则，Antlr4会选择最长的匹配作为词法单元。
如果存在多个最长匹配，Antlr4会按照词法规则的定义顺序选择第一个最长匹配。

需要注意的是，Antlr4中的词法分析器子标记匹配是基于最长匹配原则的，因此在定义词法规则时需要注意规则的顺序和正则表达式的具体定义，以确保正确匹配所需的子标记。

关于Antlr4的更多信息和使用方法，可以参考腾讯云的Antlr4产品介绍页面：Antlr4产品介绍

这块其实是编译原理的一部分，属于前端编译部分，并未涉及后端编译。见：github.com/camilesing/…中的 // 使用生成的词法分析器和解析器进行语法检查 const inputStream = new ANTLRInputStream(event.getText()); //词法解析 const lexer = new FlinkSQLLexer(inputStream); const tokenStream = new CommonTokenStream(lexer); //语法解析 const parser = new FlinkSQLParser(tokenStream); parser.removeErrorListeners(); parser.addErrorListener({ syntaxError: (recognizer: Recognizer<any, any>, offendingSymbol: any, line: number, charPositionInLine: number, msg: string, e: RecognitionException | undefined): void => { vscode.window.showErrorMessage("Parser flink sql error. line: " + line + " position: " + charPositionInLine + " msg: " + msg); }, }) parser.compileParseTreePattern // 解析文件内容并获取语法树 const parseTree = parser.program(); 写这块代码我用到了Antlr4-TS这个库。我根据一些Antlr4的语法规则，生成了对应的代码，并将输入内容丢进这些类，让它们吐出结果。在了解Antlr相关的语法规则时，让我特别震撼——类似于刚毕业一年时接触到DSL时的震撼。通过一系列规则的描述，竟然可以生产如此复杂、繁多的代码，巨幅解放生产力。这些规则是一种很美又具有实际价值的抽象。那让我们抛开Antlr这个框架的能力，如果去手写一个词法、语法分析的实现，该怎么做呢？在编程语言里，一般会有保留字和标识符的概念。保留字就是这个语言的关键字，比如SQL中的select，Java中的int等等，标识符就是你用于命名的文字。比如public class Person中的Person，select f1 as f1_v2 from t1 中的f1,f1_v2,t1。再扩展一下概念，我们以int a=1;这样一段代码为例子，int 是关键字，a是标识符，=是操作符，;是符号（结束符）。搞清楚哪些词属于什么类型，这就是词法解析器要做的事。那怎么做呢？最简单的方法其实就是按照一定规则（比如A-Za-z$）一个个去读取，比如读到i的时候，它要去看后面是不是结束符或者空格，也就上文提到的的peek，如果不为空，就要继续往后读，直到读到空格或者结束符。那么读取出来是个int，就知道这是个关键字。伪代码如下：循环读取字符 case 空白字符处理，并继续循环 case 行结束符处理，并继续循环 case A-Za-z$_ 调用scanIden()识别标识符和关键字，并结束循环 case 0之后是X或x，或者1-9 调用scanNumber()识别数字，并结束循环 case , ; ( ) [ ]等字符返回代表这些符号的Token，并结束循环 case isSpectial()，也就是% * + - | 等特殊字符调用scanOperator()识别操作符 ... 这下我们知道了int a=1;在词法解析器看来其实就是关键字（类型）标识符操作符数字结束符。这样的写法其实是符合Java的语法规则的。反过来说：int int=1;是能够通过词法分析的，但是无法通过语法分析，因为关键字（类型）关键字（类型）操作符数字结束符是不符合Java的语法定义的。这个时候可能会有人问，为啥要有词法分析这一层？都放到语法分析这一层也是可以做的啊。可以做，但会很复杂。而且一般软件工程中会都做分层，避免外面的变动影响到里面的核心逻辑。举个例子：后续Java新增了一个类型，如果词法分析、语法分析是拆开的，那么只要改词法分析层的一些代码就行了，语法分析不用。但是如果没有词法分析这一层，语法分析的代码会有很多，而且一点点改动就很容易影响到这一层。在此之后就会生成语法树。后续我打算做一些基于语法树的分析，Antlr提供了两种读语法节点的方式，一种是Vistor，一种是Listeners。前者意

用c语言手搓一个600行的类c语言解释器: 给编程初学者的解释器教程（1）- 目标和前言用c语言手搓一个600行的类c语言解释器: 给编程初学者的解释器教程（2）- 简介和设计用c语言手搓一个600行的类c语言解释器: 给编程初学者的解释器教程（3）- 词法分析用c语言手搓一个600行的类c语言解释器: 给编程初学者的解释器教程（4）- 语法分析1：EBNF和递归下降文法用c语言手搓一个600行的类c语言解释器: 给编程初学者的解释器教程（5）- 语法分析2: tryC的语法分析实现用c语言手搓一个600行的类c语言解释器: 给编程初学者的解释器教程（6）- 语义分析：符号表和变量、函数

普遍的观点认为，前端就是打好 HTML、CSS、JS 三大基础，深刻理解语义化标签，了解 N 种不同的布局方式，掌握语言的语法、特性、内置 API。再学习一些主流的前端框架，使用社区成熟的脚手架，即可快速搭建一个前端项目。胜任前端工作非常容易。再往深处学习，你会发现前端这个领域，总是有学不完的框架、工具、库，不断有新的轮子出现。技术推陈出新，版本快速迭代，但万变不离其宗。工具致力于流程自动化、规范化，服务于简洁、优雅、高效的编码，将问题高度抽象化、层次化。在如今前端开源界如此火热的现状下，框架的使用者与框架的维护者联系更加紧密，不仅能深入源码来更彻底地认识框架，还能够提出问题，参与讨论，贡献代码，共同解决技术问题，推进前端生态的发展和壮大。而编译原理，作为一门基础理论学科，除了 JS 语言本身的编译器之外，更成为 Babel、ESLint、Stylus、Flow、Pug、YAML、Vue、React、Marked 等开源前端框架的理论基石之一。了解编译原理能够对所接触的框架有更充分的认识。

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

在Antlr4中，如何确定哪些词法分析器子标记匹配？

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐