对一个已有的项目进行语法分析，首先是要找到语法分析文件，分析语法文件之间的关系，然后根据语法分析文件提供的接口，确定语法解析在这个体系中所处的位置。
去年，和公司的大佬讨论了一系列关于代码的代码化，还记录了一些笔记。在那之后，我开始了各种尝试：如何将代码转变化代码。原先有一些思路，而后过了一年之后，慢慢地练习，又有了一些新的收获。
2019年7月30-31日，第五届互联网安全领袖峰会（CSS 2019）在北京开幕。作为前沿技术安全研究团队代表，Tencent Blade Team两位高级安全研究员受邀登台，探讨如何挖掘语法解析器规则漏洞。 许多基础软件中都包含有语法解析部分，一旦出现规则漏洞影响，范围极大，而这块领域的安全研究相对较为缺乏，此次Tencent Blade Team对如何挖掘语法解析器规则漏洞做了从理论到实战的详细分析，并提出了如何编写安全的规则建议。 Tencent Blade Team由腾讯安全平台部成立，专注
缘起 IT人写技术文档，例如我自己写博客，用的最多的就是 markdown. 但是在浏览器中看到的这些博客都是以 html 的格式展示在人们的面前的. 所以一个自然的问题就是markdown怎么变成
本文主要记述了我如何通过编写工具自动生成代码的方式，提高代码重构的效率。原本计划需要共计60人日的工作量，实际一个人只用了不到三周的时间便完成了任务。另外，本文还对注解解析，JavaSymbolResolver及JavaParser的基础知识进行了讲解。
Parser就是将SQL字符串切分成一个个Token，再根据一定语义规则解析为一棵语法树。我们写的sql语句只是一个字符串而已，首先需要将其通过词法解析和语法解析生成语法树，Spark1.x版本使用的是scala原生的parser语法解析器，从2.x后改用的是第三方语法解析工具ANTLR4， 在性能上有了较大的提升。
JSON.parse 是浏览器内置的 API，但如果面试官让你实现一个怎么办？好在有人已经帮忙做了这件事，本周我们一起精读这篇 JSON Parser with Javascript 文章吧，再温习一遍大学时编译原理相关知识。
目前广泛使用的语法解析框架主要包括ANTLR、JavaCC和Yacc等。在大数据领域中，很多计算引擎都是基于ANTLR进行语法解析，例如 Hive、Spark和Presto等都基于ANTLR进行处理。然而，Calcite使用JavaCC编译器进行语法解析。
从WordPress转回Typecho后因为直接使用了handsome主题，并开启了主题中自带的vditor编辑器，且同时前台引入vditor.js接管前台解析。
一段时间前，我们用go编写了python的词法解析器。由于近一段时间事情繁多，同时囊中羞涩，因此更多的精力投入到了和“变现”相关的工作，对编译原理，数据库这些极为基础且底层的技术有所忽略，毕竟他们不像reactjs, javascript，后台开发等这些工程性技术那样容易挣钱，因此属于用爱发电的范畴。但是工程性工作做多了我也发现一个问题，那就像人吃多精细食品而没有适当摄入粗粮，这会使得人有气无力，气虚多汗，让人感觉到体内虚空，没有底层理论和技术支持，一切上层构建都搭承在脆弱的地基上，随时有坍塌的危险。
最近一直在思考如何帮助他人来学习 SQL，这里作为一名数据库 SQL 优化器的研发同学，我尝试从我个人的经验来分享一些提升对 SQL 的掌握使用的方法。
之前debug spark源码，是通过写application debug，这个不是基于spark源码本身的调试。
在 Web 开发中，随着需求的增加与代码库的扩张，我们最终发布的 Web 页面也逐渐膨胀。不过这种膨胀远不止意味着占据更多的传输带宽，其还意味着用户浏览网页时可能更差劲的性能体验。浏览器在下载完某个页面依赖的脚本之后，其还需要经过语法分析、解释与运行这些步骤。而本文则会深入分析浏览器对于 JavaScript 的这些处理流程，挖掘出那些影响你应用启动时间的罪魁祸首，并且根据我个人的经验提出相对应的解决方案。回顾过去，我们还没有专门地考虑过如何去优化 JavaScript 解析/编译这些步骤；我们预想中的是解析器在发现 <script>标签后会瞬时完成解析操作，不过这很明显是痴人说梦。下图是对于 V8 引擎工作原理的概述：
在XAML中每一个元素对象对应一个实例，而实例属性可以通过属性进行赋值。在实际项目开发中，对象元素的属性值可以是不同数据类型，根据需求不同，经常需要对数据类型进行转换，就需要使用XAML的类型转换器(Type Converters)。本文将讲解XAML类型转换器的使用。 在Windows 10 UWP应用开发中，经常会用到类型转换器，例如对按钮的内容进行赋值，代码如下: <Button Content="演示按钮"/> Button的Content属性被赋值为字符串类型“演示按钮”。XAML语法解析器可以将
随着技术的不断的发展，在大数据领域出现了越来越多的技术框架。而为了降低大数据的学习成本和难度，越来越多的大数据技术和应用开始支持SQL进行数据查询。SQL作为一个学习成本很低的语言，支持SQL进行数据查询可以降低用户使用大数据的门槛，让更多的用户能够使用大数据。
在过去的几年里，我一直从事于各种领域定义语言的设计，包含 unflow、guarding、datum、forming 等。在我刚入门这个领域的时候，我从《领域特定语言》、《编程语言实现模式》 等，一直研究到龙书等。我渐渐掌握了领域特定语言设计的一些技巧，也能快速（相对于过去）设计出一个领域特定语言。
词法、语法解析模块会先介绍一下antlr环境（上）。然后举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码，获取asttree。这些都是hive获取asttree的过程，理解了这些，再理解hive的asttree就很容易了（中）。 最后 详细介绍hive词法、语法解析的源码 以及hive AstTree的使用 （下）
Antlr4 的两种AST遍历方式：Visitor方式 和 Listener方式。
在前面系列章节中我们完成了词法解析。词法解析的基本任务就是判断给定字符串是否符合特定规则，如果符合那么就给这个字符串分配一个标签(token)。词法解析完成后接下来的工作就要分配给语法解析，后者的任务就是判断一系列标签的组合是否符合特定规范。
在MySQL中有很多特殊符号都是相当恶心的，比如字符串中有单引号（'）、双引号（"）、反斜杠（\）等等，同学们可以先脑补一下可能会出现啥问题？
众所周知，Kotlin团队正在开发新版Kotlin编译器，并命名为K2。那么K2又是什么意思呢？难道是Kotlin第二版编译器的意思？
本文来说一下，我们开发好的.java文件是源码文件，并不能交给机器直接执行，需要将其变成字节码甚至是机器码文件。那么静态编译器是如何把源码转化成字节码的呢？
【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失
前面章节中，我们完成了词法解析器的开发。词法解析的目的是把程序代码中的各个字符串进行识别分类，把不同字符串归纳到相应的分类中，例如数字构成的字符串统一归类为INTEGER, 字符构成的字符串，如果不是关键字的话，那么他们统一被归纳为IDENTIFIER。 例如下面这条语句： let foo = 1234; 语句经过词法解析器解析后，就会转变为： LET IDENTIFIER ASSIGN_SIGN INTEGER SEMI 完成上面工作后，词法解析器的任务就完成了，接下来就轮到词法解析器出场。词法解析器的作
goyacc 内部有两个重要的 interface, 其中 yyLexer 需要使用者自己实现提供，yacc 会生成 yyParser 的实现，其使用 yyLexer 做解释操作。解释的过程和和解释前后都可以嵌入自己的代码逻辑，完成一个程序或者单纯生成一个自定义的语法树结构.
在上一篇文章中我为大家介绍了Simpe项目的一些背景知识以及如何使用有限状态机来实现词法解析，在本篇文章中我将会为大家介绍语法分析的相关内容，并且通过设计一门内部DSL语言来实现Simple语言的语法解析。
导读：在MySQL中有很多特殊符号都是相当恶心的，比如字符串中有单引号（'）、双引号（"）、反斜杠（\）等等，同学们可以先脑补一下可能会出现啥问题？
优化器的作用是优化查询语句的执行效率，它通过评估不同的执行计划并选择最优的执行计划来实现这一目标。
SOAR，即 SQL Optimizer And Rewriter，是一款 SQL 智能优化与改写工具，由小米运维 DBA 团队出品
来源：https://blog.csdn.net/qq_39390545/article/details/117296607
PingCAP 发布了 TiDB 的源码阅读系列文章，让我们可以比较系统的去学习了解TiDB的内部实现。最近的一篇《SQL 的一生》，从整体上讲解了一条 SQL 语句的处理流程，从网络上接收数据，MySQL 协议解析和转换，SQL 语法解析，查询计划的制定和优化，查询计划执行，到最后返回结果。
当我们的工具或者程序连接到数据库之后，实际上发生了什么事情？它的内部是怎么工作的？ 就像我们到餐厅去吃饭，点了菜以后，过一会儿菜端上来了，后厨里面有哪些人？ 他们分别做了什么事情？这个就是MySQL的整体架构和工作流程了。 先贴个整体流程，大家大概有个印象：
本篇分享一个插件内自带语法解析的框架——Postgresql图插件AGE，不关注插件的具体功能，只关注插件的框架。
python在收到代码内容后，首先要启动两个流程，分别为词法解析和语法解析。看过我编译原理课程的同学对这两个流程应该不陌生。词法解析其实就是把代码里面不同的元素分别归类，例如234，1.35，1e3等这类字符串统一用一个标志或数字来表示，通常它们的标志为NUMBER，对应字符串pi, age等这类变量名统一用标志来表示，例如使用NAME，于是整篇代码会一下子浓缩成一系列标志的排列，例如表达式 a = 100 + 10 就变成了 NAME = NUMBER + NUMBER。
SOAR主要由语法解析器，集成环境，优化建议，重写逻辑，工具集五大模块组成。下面将对每个模块的作用及设计实现进行简述，更详细的算法及逻辑会在各个独立章节中详细讲解。
编译器是一个大型且复杂的系统，一个好的编译器会很好地结合形式语言理论、算法、人工智能、系统设计、计算机体系结构及编程语言理论。Go语言的编译器遵循了主流编译器采用的经典策略及相似的处理流程和优化规则（例如经典的递归下降的语法解析、抽象语法树的构建）。另外，Go语言编译器有一些特殊的设计，例如内存的逃逸等。
SparkSQL继承自Hive的接口，由于hive是基于MapReduce进行计算的，在计算过程中大量的中间数据要落地于磁盘，从而消耗了大量的I/O，降低了运行的效率，从而基于内存运算的SparkSQL应运而生。
去年年底，在公司大佬的带领下，我们结合架构守护的需要，对代码进行了简单的建模。在过去的几个月里，我一直工作在相关的事项上，不断地优化、改进相关的模型：
这块其实是编译原理的一部分，属于前端编译部分，并未涉及后端编译。见：github.com/camilesing/…中的 // 使用生成的词法分析器和解析器进行语法检查 const inputStream = new ANTLRInputStream(event.getText()); //词法解析 const lexer = new FlinkSQLLexer(inputStream); const tokenStream = new CommonTokenStream(lexer); //语法解析 const parser = new FlinkSQLParser(tokenStream); parser.removeErrorListeners(); parser.addErrorListener({ syntaxError: (recognizer: Recognizer<any, any>, offendingSymbol: any, line: number, charPositionInLine: number, msg: string, e: RecognitionException | undefined): void => { vscode.window.showErrorMessage("Parser flink sql error. line: " + line + " position: " + charPositionInLine + " msg: " + msg); }, }) parser.compileParseTreePattern // 解析文件内容并获取语法树 const parseTree = parser.program(); 写这块代码我用到了Antlr4-TS这个库。我根据一些Antlr4的语法规则，生成了对应的代码，并将输入内容丢进这些类，让它们吐出结果。在了解Antlr相关的语法规则时，让我特别震撼——类似于刚毕业一年时接触到DSL时的震撼。通过一系列规则的描述，竟然可以生产如此复杂、繁多的代码，巨幅解放生产力。这些规则是一种很美又具有实际价值的抽象。 那让我们抛开Antlr这个框架的能力，如果去手写一个词法、语法分析的实现，该怎么做呢？ 在编程语言里，一般会有保留字和标识符的概念。保留字就是这个语言的关键字，比如SQL中的select，Java中的int等等，标识符就是你用于命名的文字。比如public class Person中的Person，select f1 as f1_v2 from t1 中的f1,f1_v2,t1。 再扩展一下概念，我们以int a=1;这样一段代码为例子，int 是关键字，a是标识符，=是操作符，;是符号（结束符）。搞清楚哪些词属于什么类型，这就是词法解析器要做的事。那怎么做呢？最简单的方法其实就是按照一定规则（比如A-Za-z$）一个个去读取，比如读到i的时候，它要去看后面是不是结束符或者空格，也就上文提到的的peek，如果不为空，就要继续往后读，直到读到空格或者结束符。那么读取出来是个int，就知道这是个关键字。 伪代码如下： 循环读取字符 case 空白字符 处理，并继续循环 case 行结束符 处理，并继续循环 case A-Za-z$_ 调用scanIden()识别标识符和关键字，并结束循环 case 0之后是X或x，或者1-9 调用scanNumber()识别数字，并结束循环 case , ; ( ) [ ]等字符 返回代表这些符号的Token，并结束循环 case isSpectial()，也就是% * + - | 等特殊字符 调用scanOperator()识别操作符 ... 这下我们知道了int a=1;在词法解析器看来其实就是关键字（类型） 标识符 操作符 数字 结束符。这样的写法其实是符合Java的语法规则的。反过来说：int int=1;是能够通过词法分析的，但是无法通过语法分析，因为关键字（类型） 关键字（类型） 操作符 数字 结束符是不符合Java的语法定义的。 这个时候可能会有人问，为啥要有词法分析这一层？都放到语法分析这一层也是可以做的啊。可以做，但会很复杂。而且一般软件工程中会都做分层，避免外面的变动影响到里面的核心逻辑。 举个例子：后续Java新增了一个类型，如果词法分析、语法分析是拆开的，那么只要改词法分析层的一些代码就行了，语法分析不用。但是如果没有词法分析这一层，语法分析的代码会有很多，而且一点点改动就很容易影响到这一层。 在此之后就会生成语法树。后续我打算做一些基于语法树的分析，Antlr提供了两种读语法节点的方式，一种是Vistor，一种是Listeners。前者意
作为一家数据智能企业，个推在服务垂直行业客户的过程中，会涉及到很多数据实时计算和分析的场景，比如在服务开发者时，需要对App消息推送的下发数、到达数、打开率等后效数据进行实时统计；在服务政府单位时，需要对区域内实时人口进行统计和画像分析。为了更好地支撑大数据业务发展，个推也建设了自己的实时数仓。相比Storm、Spark等实时处理框架，Flink不仅具有高吞吐、低延迟等特性，同时还支持精确一次语义（exactly once）、状态存储等特性，拥有很好的容错机制，且使用门槛低、易上手、开发难度小。因此，个推主要基于Flink SQL来解决大部分的实时作业需求。
其中，SQL Parser的功能是把SQL语句按照SQL语法规则进行解析，将文本转换成抽象语法树（AST），这部分功能需要些背景知识才能比较容易理解，我尝试做下相关知识的介绍，希望能对读懂这部分代码有点帮助。
定义: 给定一门语言,定义它的文法的一种表示, 并定义一个解释器, 该解释器使用该表示来解释语言中的句子.
xml 的标签属性和 html 的标签属性是非常类似的，属性可以提供元素的额外信息
java进程的启动依赖于唯一的main函数，java中的junit采用插件隐藏main函数的方式，我们右键运行某测试用例。其本质上传入的是测试用例的路径。而插件启动的main函数通过args去接受传入的用例路径，并解析出测试用例的前后执行方法（包括一些注解），并对具体的方法进行排序，最后采用多线程submit任务，从而进行测试用例的执行。在idea中选中包路径运行整个包下的测试用例，相当于启动了若干个runner任务。
重回 “手写 SQL 编辑器” 系列。之前几期介绍了 词法、文法、语法的解析，以及回溯功能的实现，这次介绍如何生成语法树。
在上一个版本实现的脚本解释器 GScript 中实现了基本的四则运算以及 AST 的生成。
编译器是一个大型且复杂的系统，一个好的编译器会很好地结合形式语言理论、算法、人工智能、系统设计、计算机体系结构及编程语言理论。Go语言的编译器遵循了主流编译器采用的经典策略及相似的处理流程和优化规则（例如经典的递归下降的语法解析、抽象语法树的构建）。另外，Go语言编译器有一些特殊的设计，例如内存的逃逸等。 编译原理值得用一本书的笔墨去讲解，通过了解Go语言编辑器，不仅可以了解大部分高级语言编译器的一般性流程与规则，也能指导我们写出更加优秀的程序。很多Go语言的语法特性都离不开编译时与运行时的共同作用。另外，
前几节，我们介绍了如何使用语法解析算法对代码进行解析。语法解析的目的是为了明白代码语句的意图，例如对于语句: c = a + b; 语法解析后，编译器就明白代码是想把变量a和b的值相加，再把结果赋值给变量c.然而要想实现这样的结果，编译器还得需要不少辅助信息，例如变量a和b对应的数值是多少，这些辅助信息我们会存储在一种称之为符号表的数据结构中。 在前几节语法解析时，代码实际上建造了一种树形结构，例如语句 a+b; 其中包含三个元素，a和b属于Identifier, 三者构成了一个算术表达式，也就是expre
以一个带简单赋值、出入参、变量有默认值的普通函数为例，分析执行过程。触发器等其他函数的执行过程大同小异，核心流程基本不变，就是多了几个默认工具变量。相比《Postgresql源码（46）plpgsql中的变量类型及对应关系》这篇总结更清晰简单。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
