词素具有属性, 比如动词、名词、副词、形容词等, 这些属性决定了语法层面, 其在句子里可充当的成分....词法分析的编码实现
在编码实现上, 一个经验指导是, 使用策略模式独立出不同类型的词素的分词逻辑, 以对象组合的方式组装出词法分析器....一个词法分析器由多个分词策略组成, 这些分词策略具有不同的优先级, 可采用一个排序树的结构来存放.
----
语法分析
词法分析是将词素序列转为抽象语法树(Abstract syntax tree)的过程...语法分析的实现有两种选择——基于 parser generater 代码生成, 或手写递归下降, 基于 LR 的 Parser 分析能力会更强(如支持左递归文法), 而手写递归下降则更便于控制....,对同一个输入可能存在多个后继状态,其转换具有二义性.