我使用用Antlr4编写的来生成C++目标解析器。
它有一些用Java编写的动作代码，所以我需要将它转换成C++以便它可以编译。
对于下面的代码，我不理解它的含义：
fragment
IdentifierStartChar
: // these are the valid identifier start characters below 0x7F
[a-zA-Z_]
| // these are the valid characters from 0x80 to 0xFF
[\u00AA\u00B5\u00BA\u00C0-\u00D6\u00D8-\u00F
浏览 2提问于2020-09-01得票数 0
1回答
当我在富文本框中写下一些东西并按下空格键或enter键，然后如果它是一个关键字( Void，main，if，else等)，那么它应该是蓝色的。意思是只有这个词才是关键词。我已经取得的功能，以实现我正在键入的单词，但不能设置蓝色。
提前谢谢。
浏览 1提问于2011-04-20得票数 0
2回答
我需要一个词法解析器来解析C源代码，我必须使用Java语言来实现。我研究了一下，发现了ANTLR和JAVACC。这些解析器中哪一个更适合使用?为什么？或者你有没有其他的解析器可以推荐？
答案将非常感谢。谢谢。
浏览 2提问于2013-03-13得票数 0
我在开发我们的小数字用户线方面取得了一些进展，但在尝试突出显示我们正在使用的TextEditorControl中的注释时遇到了一个问题。顺便说一句，ICSharpCode控件很棒，它与ANTLR结合在一起，为DSL提供了一个很好的平台。
我有一个工作的语法和词法分析器，并在文本编辑器中编写了一个突出显示策略，它也工作得很好。DSL中唯一拒绝正确着色的元素是我在隐藏通道上的“注释”。
Comment
: '//' ~('\r' | '\n')* {$channel=Hidden;}
| '/*' .*
浏览 4提问于2013-03-19得票数 2
回答已采纳
我正在为我的大学做一个小组项目，这个项目将用于计算机科学中的抄袭检测。
我的团队主要使用这篇期刊文章中描述的散列/指纹识别技术：。这与抄袭检测系统的工作原理非常相似。
我们基本上是获取同学源代码的k-gram散列，并在数据库中查找相关匹配(以及在如何确定选择哪些散列作为文档指纹方面进行了大量优化)。
我们项目的第一个方面是它的“前端”部分，它将包含关于我们的检测系统可以处理的每个文件格式的一些语义知识。这将允许我们从文档中剥离一些我们不再需要的用于检测抄袭的细节。基本上，我们希望能够将各种编程语言中的所有变量重命名为常量字符串或字母。
有什么轻量级的解决方案(lexer生成器或类似的东西)可以
浏览 1提问于2010-01-23得票数 3
回答已采纳
我已经研究过，解析器调用词法分析器，然后词法分析器将令牌返回给它，但这一切是一次发生还是同时发生，词法分析器读取词位并将令牌返回给解析器。
我们说词法分析器将令牌返回给解析器，但是词法分析器将它存储在符号表中，所以解析器是从符号表本身获取令牌的，但是它如何引用它呢？
浏览 1提问于2015-03-21得票数 2
1回答
我正在寻找一种方法(算法/开源项目/？)通过构造类似于正则表达式的模式来匹配令牌，或使用类似的原则。
我将尝试通过示例来描述我的问题。假设我有以下SQL INSERT语句：
INSERT INTO [dbo].[Table] (Column1) VALUES (@Column1);
假设我能够将SQL解析为令牌(我可以)，它们将如下所示：
+-------------------+-------+
| INSERT | token |
| INTO | token |
| QUOTEDIDENTIFIER | token |
| DOT
浏览 2提问于2014-08-14得票数 0
我正在为一种类似C的语言编写一个解析器/解释器，我需要解释转义字符。其中之一是unicode转义序列，其模式为"\uXXXX“，其中X是某个十六进制数。
我的ANTLR规则如下所示：
public char returns [char c]
: '\\"' { $c = '"'; }
| '\\\\' { $c = '\\'; }
| '\\/' { $c = '/'; }
| '\\b' { $c = '\b
浏览 0提问于2011-10-08得票数 0
回答已采纳
我已经开始使用ANTLR，并注意到它的词法分析器规则相当反复无常。下面是一个非常令人沮丧的例子：
grammar output;
test: FILEPATH NEWLINE TITLE ;
FILEPATH: ('A'..'Z'|'a'..'z'|'0'..'9'|':'|'\\'|'/'|' '|'-'|'_'|'.')+ ;
NEWLINE: '\r'? '
浏览 0提问于2015-04-22得票数 45
回答已采纳
我正在为一种语言编写一个解析器。在实现之后，我发现有如此多的解析器规则。所以，我把语法拆分了。我在这两个语法中都添加了词法分析器规则。但是，现在我发现lexer是从第一个语法生成的，它们在另一个语法中不匹配，因此没有可行的alt异常。
谁能指导我如何在这两种语法中使用相同的词法分析器规则？
浏览 1提问于2014-11-19得票数 0
我正在使用C#和Visual Studio2012来实现嵌入在html中的语言的语法突出显示(很像<% %>中的ASP代码)。到目前为止，我发现我需要使用MEF来实现这一点，但是除了这里有一个比较模糊的描述：之外，还没有关于如何使用MEF来实现这一点的示例。我尝试将通过MEF“导入”的ITextBuffer中的文本跨度分配给IProjectionBuffer，但没有任何效果。
有没有人有任何关于如何进行的想法？
浏览 1提问于2013-02-21得票数 2
1回答
我想使用一些内置的词法分析器和解析器，我需要一些例子或样本来演示使用。
有人在C#中使用过词法分析器吗？
任何人可以分享样本和代码如何使用它。
我没有找到很多ANTLR和lex，但我找不到任何示例或教程。
如果有人用过这样的东西，请让我知道。
浏览 2提问于2011-04-09得票数 1
我想我(粗略地)理解了递归下降解析器(例如Scala的解析器组合器)是如何工作的:您使用一个解析器解析输入字符串，然后该解析器为整个输入的每个“部分”调用另一个较小的解析器，依此类推，直到到达直接从输入字符串片段生成AST的低级解析器
我还认为我理解了词法分析/解析的工作原理:首先运行词法分析器将整个输入分解为标记的平面列表，然后运行解析器获取标记列表并生成AST。
然而，我不理解的是，Lex/Parse策略是如何处理这样的情况的:您如何确切地对某些东西进行标记化取决于之前被标记化的标记物。例如，如果我取一大块XML：
"<tag attr='moo' omg=&
浏览 1提问于2012-02-27得票数 2
回答已采纳
2回答
最近，通过在我的python应用程序中实现QsciLexerCustom，我一直在创建自己的Progress 4GL编辑器。但是在浏览Qscintilla源代码时，我注意到他们在QScintilla/lexers/LexProgress.cpp中已经有了一个进步4gl词法分析器，但是在阅读时，他们并没有指定任何QsciLexerProgress类或者任何访问这个词法分析器的方法，我看得出来。
有人知道怎么做吗？
任何帮助都将不胜感激。
浏览 0提问于2012-12-18得票数 3
回答已采纳
我对编写编译器、解析器和解析器生成器很感兴趣，但我对它们知之甚少。
读完的答案后，我试着做了一个“非常简单”的LaTeX解析器。
代码如下：
grammar Latex;
latex : ITEM*;
ITEM : CMD|LAWTEXT;
CMD : CHEAD ARGS;
CHEAD : '\\' LETTER(LETTER|DIGIT)*;
LETTER : 'A'..'Z'|'a'..'z';
DIGIT : '0'|'1'|&#
浏览 1提问于2011-05-23得票数 1
回答已采纳
我想为tatsu使用一个不同的词法分析器，但是使用tatsu的解析器。这个是可能的吗？例如，在语法中：
expr = NUM | ID | (expr '+' expr) ;
是否可以使用替代词法分析器来提供NUM和ID
浏览 19提问于2017-07-20得票数 0
这并不是说它不能处理。它为Python做到了这一点。
我怎么才能要求它对其他语言做同样的事情呢？
浏览 0提问于2011-08-30得票数 6
回答已采纳
1回答
我正在读this book，它说flex的c++词法分析器的生成是一个有缺陷的实验特性。 这本书是在2009年出版的，所以我想知道这个问题在过去10年里是否得到了解决。
浏览 8提问于2019-02-25得票数 1
我是ANTLR的新手，我正在尝试使用它。这是我能想到的最简单的语法，但当我解析一个变量"id123“时，它仍然不起作用(NoViableAltException)，但它适用于"abc1"，"ab"，"c1d2f3”。
我使用的是ANTLR3.1.3和ANTLRWorks 1.4。
options
{
language = 'CSharp2';
output = AST;
}
assign : variable '=' value;
value : (variable|constan
浏览 1提问于2012-05-24得票数 1
回答已采纳
为了学习，我想在c++中做一些解析和标记化。现在，当我在网上读到这个主题时，我经常遇到bison/yacc和lex。例如，使用STL或boost::regex编写的记号赋予器/解析器，或者甚至只使用C编写的记号赋予器/解析器，是否会有任何市长的好处？
浏览 2提问于2010-07-13得票数 7
回答已采纳
1回答
同样，我仍然对这个规则感到困惑。
block
: '{'
(variable | stat)*
( LINE_COMMENT
| COMMENT
| WS
)*
'}'
;
我收到了同样的警告，其中lexer规则是
WS
: (' ' | '\r'|'\t'|'\u000C'|'\n') -> skip
;
COMMENT
浏览 5提问于2013-06-04得票数 0
我发现，用于ANTLR4的C#中的自定义错误处理的Java示例不能一对一地转换为C#。在我的问题上收到多个反对票后，我再次尝试。
我需要使用C#绑定创建一个自定义错误处理程序，该绑定在出现任何语法或词汇错误时停止。
Java示例表明
public static class BailSimpleLexer extends SimpleLexer { ...
但是在C#绑定中没有SimpleLexer对象。我找不到与可用的Java示例类似的示例，所以我很好奇其他C# ANTLR4开发人员是如何像TestRig一样解决捕获所有词法错误的问题的。
浏览 2提问于2017-05-11得票数 0
3回答
我正在寻找一个手写的免费词法分析器/扫描器，适用于任何语言，甚至是用类似于C/C++的语言编写的玩具语言。我是一个创建语言和编译器设计的初学者，我喜欢玩弄源代码。
例如，在flex生成lex之前，这个网站上有一个手写的lexer：
谢谢。
浏览 5提问于2009-10-05得票数 1
回答已采纳
1回答
我正在尝试更改整个QSciScintilla编辑器小部件的颜色。我试过使用函数
QSciScintilla::setPaper(const QColor &c)
但这似乎只改变了文本后面的颜色(参见)。如何更改整个框的背景颜色？
提前谢谢。
浏览 3提问于2012-08-08得票数 3
回答已采纳
1回答
在JFlex中跟踪状态
、、、
我正在编写一个自定义的flex文件来生成一个与JSyntaxpane一起使用的词法分析器。
我需要用来进行lex的自定义语言有不同的状态，它们可以在某种堆栈中相互嵌入。
也就是说，您可以编写一个只有一个带引号的字符串的表达式，然后使用特殊标记eval()将另一个表达式嵌入到该字符串中。但是您也可以将表达式嵌入到双引号字符串中。
例如：
someExpressionFunction('a single-quoted string with an eval(expression) embedded in it', "a double-quoted string with a
浏览 0提问于2009-05-20得票数 6
回答已采纳
我正在编写一个C#程序，它使用文本编辑器编辑类似于使用ScintillaNet编译的lua (rbf)的文件格式。我知道您可以通过添加一个Xml文件并在CustomDirectory属性中引用它来向Scintilla添加新的语言。我希望该语言有相同的词法分析器/解析器作为lua，但没有关键字和代码完成。有没有人可以把这样的Xml代码上传到我可以作为示例的地方？
它目前看起来是这样的：
<?xml version="1.0" encoding="utf-8"?>
<ScintillaNET>
<Language Name="
浏览 3提问于2010-11-28得票数 3
回答已采纳
2回答
我一直在努力让ANTLR3.2在C++中生成解析器/词法分析器。这是徒劳的。不过，Java &C运行得很好。
我从这个教程开始：
当我检查*.stg文件时，我发现：
CPP只有
./tool/src/main/resources/org/antlr/codegen/templates/CPP/CPP.stg
C有这么多的文件：
./tool/src/main/resources/org/antlr/codegen/templates/C/AST.stg
./tool/src/main/resources/org/antlr/codegen/templates/C/ASTDbg.stg
浏览 0提问于2009-12-02得票数 7
回答已采纳
2回答
解析器和词法分析器的设计指南？
、、、、
我正在为一种稍微复杂的数据格式编写一个词法分析器(用re2c)和一个解析器(用Lemon)：类似CSV，但在特定位置使用特定的字符串类型(仅限字母数字字符，字母数字字符和减号，除引号和逗号外的任何字符，但带有平衡括号等)，大括号内的字符串和看起来像函数调用的字符串(可以包含参数)。
我的第一个尝试是使用具有多个状态的lexer，每个状态都迎合特定的字符串格式。但是，在来自词法分析器的许多无用的“意外输入”消息(它变得非常大)之后，我意识到它可能正在尝试做解析器的工作。我放弃了我的第一次尝试，转而使用一个只有一种状态、许多字符标记的lexer和一个将这些标记组合成不同字符串类型的解析器。这样做效
浏览 0提问于2010-07-07得票数 6
回答已采纳
在L系统表示法中，一个模式看起来像这样： A(a)<A(x)>B(b, c) if a+b+c < 10 => B(a+b, a+c)A(x+a+b+c) 我正在尝试编写rust宏来扩展这些。所以我有这样的东西： macro_rules! test {
($lc:pat < $a:pat > $rc:pat) => { ... };
} 但它不让我这么做。上面写着： error: `$a:pat` is followed by `>`, which is not allowed for `pat` fragments
--> s
浏览 19提问于2020-10-20得票数 3
例如，如果我想定义Lisp编程语言，其中名称甚至可以包含非字母数字字符，我是否应该使用如下符号列出所有可用字符：
validchar ::= "a" | "b" | "c" ... "-" | "*" | "$" ... ;
name = validchar, (validchar | digit)+;
或者我可以使用正则表达式，比如：
validchar ::= "[^(^)^\s^\d]";
name ::= validchar, (validchar | digit)*;
或者
浏览 7提问于2016-07-31得票数 2
回答已采纳
1回答
我正在为SML消息编写一个解析器。输入:包含许多SML消息的文件。Ouput:包含已标识元素的消息队列。这是我的代码：
grammar SML;
options {language = Java;}
@header {
package SECSParser;
import SECSParser.SMLLexer;
}
@lexer::header {
package SECSParser;
}
@parser::members {
public static void main(String[] args) throws Exception {
String file
浏览 0提问于2012-07-13得票数 0
回答已采纳
1回答
优化文本文件解析器的速度
、、、
我正在用C语言编写一个解析文本文件的函数。该文本文件包含数千个以下形式的参数：
parameter=1,6,3,6
another_parameter=1,45,2,3
为了逐行解析文本文件，我使用问题的答案
使用下面的代码，已经可以快速解析文本文件。然而，我希望进一步提高它的速度。有谁有可以进一步优化的建议吗？
void ConfigReader_ScanInt16x4 (const char *token, const char *format, int16_t *res1, int16_t *res2, int16_t *res3, int16_t *res4)
{
int st
浏览 0提问于2021-05-01得票数 1
1回答
我正在尝试为应用程序中的用户脚本实现一种小型描述语言。基本上，用户描述对象是如何从其他对象创建的。(不是真正的编程语言)。我也可以使用JSON (但它会更冗长)。
我使用了leex和yecc，并且我有一个不错的解析树。假设它是这样的：
{def,double, %% function name double
[{x}], %% list of input names
%% return expression, in this case {Operator, Operand1, Operand2}
{'*',{var,x},{number,2}
浏览 0提问于2013-07-08得票数 4
回答已采纳
我的语法包含以下内容(精简)：
block:
: specialfunction
specialfunction
: SPECIALFUNCTION OPAR (parameter (',' parameter)*)? CPAR
;
SPECIALFUNCTION : 'FUNCTION1'| 'FUNCTION2';
SPECIALFUNCTION的可能值列表可以且将随着时间的推移而变化。这些名称也在代码中的其他地方使用，所以我希望有一个方法返回有效的SPECIALFUNCTIONs，然后可以从代码和语法中的不同位置调用这些名称，而不是在
浏览 2提问于2014-08-27得票数 0
1回答
我需要将token设置为“除新行开头以外的任何字符”。我在努力
[^^]
但这是行不通的。首先，我需要检测一些模式线：
%s arithm secOper
NUMBER [0-9]+
INTEGER (-?[0-9]+)
ASSIGN [=]
VARY [A-Za-z][?-i:a-z0-9]{0,15}
ARITHMSIGNS (\+[ ]*|\-[ ]*|\*[ ]*|\/[ ]*)
SPACE [ ]+
SPACES [ ]*
ANY [^^]
%%
^{NUMBER}{SPACES}{VARY}{SPACES}{ASSIGN}{SPACES}({VARY}|{INTE
浏览 0提问于2014-03-25得票数 1
我是第一次接触解析器生成器，我想知道像JSP/ASP/PHP这样的嵌入式语言的ANTLR语法是什么样子的，但不幸的是，ANTLR站点没有提供任何这样的语法文件。
更确切地说，我不知道如何准确地定义一个匹配所有内容(包括在代码块之外没有任何意义的关键字)的AnyText令牌，并且仍然能够在块内正确识别它们。
例如，以下代码片段应标记为: AnyText，BlockBegin，Keyword，BlockEnd，AnyText。
lorem ipsum KEYWORD dolor sit <% KEYWORD %> amet
也许还有另一个解析器生成器更适合我的需要。到目前为止，我只尝试
浏览 0提问于2009-09-17得票数 6
回答已采纳
我有一种用来解析unicode字符的语言。这些字符由%主持。所以这个文本：%,，this：a=&,或者甚至this：(a,b)=%,应该检测到'，‘作为unicode字符。
它一直这样做，直到我添加了(a，b)的模式。
下面是不使用(a，b)的代码：
grammar example;
test: expr | decl;
decl: (VARIABLE_DECLARATION? ID ) '=' expr
;
VARIABLE_DECLARATION
: 'public' | 'private'
;
浏览 0提问于2020-05-15得票数 0
对于我们的编译器理论课，我们的任务是为我们自己设计的编程语言创建一个简单的解释器。我使用jflex和cup作为生成器，但我有点纠结于什么是词法错误。另外，是否建议我使用jflex的状态特性？这感觉是错误的，因为解析器似乎更适合处理这一方面。你有没有推荐其他的工具来创建这种语言。如果我没有耐心的话，我很抱歉，但是星期二就要交了。
浏览 1提问于2010-08-15得票数 13
回答已采纳
1回答
我正在尝试理解ANTLR谓词。为此，我有一个简单的词法分析器和解析器，如下所示。
我想要做的是，每次看到"foo“后面跟着一些空格，然后是"bar”时，使用谓词插入单词"fubar“。我希望在保持基本结构不变的情况下做到这一点。在词法分析器中做这件事的加分。更多的加分，如果我可以做到这一点，而根本不涉及底层语言。但如果有必要的话，它是C#。
例如，如果输入字符串为：
programmers use the words foo bar and bar foo class
输出将是
programmers use the words foo fubar bar and ba
浏览 8提问于2013-12-17得票数 1
我正在对一个文本文件进行词法分析，我得到了这个异常：
Exception in thread "main" java.lang.RuntimeException: mismatched input 'C' expecting {<EOF>, 'V:', '%', ACCIDENTAL, BASENOTE, 'z', '(', '['}
在antlr中将BASENOTE定义为
BASENOTE : 'C' | 'D' | 'E'
浏览 3提问于2013-10-31得票数 1
如何使用具有相同起点的词法分析器规则？
我正在尝试使用两个相似的词法分析器规则(具有相同的起点)：
TIMECONSTANT: ('0'..'9')+ ':' ('0'..'9')+;
INTEGER : ('0'..'9')+;
COLON : ':';
下面是我的语法示例：
grammar TestTime;
text : (timeexpr | caseblock)*;
timeexpr : TIME;
caseblock :
浏览 3提问于2012-04-05得票数 5
回答已采纳
我对编译器的世界很陌生，最近我听说了一个叫做解析器生成器的东西。据我所理解，解析器生成器接收一个语法文件并输出一个源代码文件，该源代码文件可以用给定的语法解析文件。
几个问题：
我理解得对吗？
如果是的话，Ragel是这样的工具吗？
如果是的话，Ragel能否将D解析器输出到D源代码中？
谢谢!
浏览 13提问于2011-01-18得票数 10
回答已采纳
3回答
我是ANTLR的新手，我正在尝试用C语言目标语言(antler3C)编写一个简单的解析器。语法非常简单，我希望每个规则都返回一个值，例如：
number returns [long value]
:
( INT {$value = $INT.ivalue;}
| HEX {$value = $HEX.hvalue;}
)
;
HEX returns [long hvalue]
: '0' 'x' ('0'..'9'|'a'..'f'|'A'..'F&
浏览 3提问于2010-10-14得票数 5
回答已采纳
最近，我开始学习ANTLR。我知道词法分析器/解析器一起可以用来构建编程语言。
除了DSL或编程语言之外，您是否曾经直接或间接地使用词法分析器/解析器工具(和知识)来解决实际问题？普通程序员有可能在不了解词法分析器或解析器的情况下解决这些问题吗？
浏览 0提问于2009-03-14得票数 16
回答已采纳
当小数和千位分隔符(小数分组字符)依赖于区域设置调用系统时，如何编写能够正确解析浮点数的Antlr (v4)语法？
目前，我尝试在传递给解析器之前交换输入字符串中的字符，虽然这样做是可行的，但感觉就像是一个hack。有没有办法制作一个“参数化的”解析器，其中一些东西可以作为参数传递，比如这些令牌的字符值？
浏览 2提问于2013-10-26得票数 1
我正在寻找一个适用于中语法的.properties文件。有可能吗？
一支部分荧光笔就行了，否则就行了。
浏览 0提问于2011-07-06得票数 21
回答已采纳
我正在尝试构建一种简单的解释型语言，用于学习目的。我已经阅读了无数关于ANTLR和JavaCC的理论和教程，但我不知道如何让它真正做一些有用的事情。
我最好的学习方式是“把东西拆开再放回原处”，那么，有没有什么简单的语言是在ANTLR或类似工具的帮助下实现的呢？
下面这样的代码可能会更好：
x = 1
if x == 1
print "true"
浏览 2提问于2010-03-20得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
