使用 ANTLR4 来匹配可输出的类字母字符，以便实现在 Go 语言中的目标

使用 ANTLR4 解析器和词法分析器，可以通过引入词法模式来匹配可打印的字母字符。在进入词法模式后，可以匹配括号、空格或非特殊字符，直到出现模式外的字符。通过使用词法模式，可以在自己的文件中定义词法分析器和解析器规则，其中词法分析器语法使用 "lexer grammar ..."，而解析器语法使用 "parser grammar ..."。

这让我很害怕，我只是找不到解决方案。我有一个用于搜索查询的语法，并且希望匹配由可打印字母组成的查询中的任何搜索项，但特殊字符“(”、“)”除外。引号括起来的字符串是单独处理的并且可以工作。

这是一个有点有效的语法：

/* antlr grammar for minidb query language */

grammar mdb;

start
    : searchclause eof
    ;

searchclause
    : table expr
    ;

expr
    : fieldsearch
    | searchop fieldsearch
    | unop expr
    | expr relop expr
    | lparen expr relop expr rparen
    ;

lparen
    : '('
    ;

rparen
    : ')'
    ;

unop
    : not
    ;

relop
    : and
    | or
    ;

searchop
    : no
    | every
    ;

fieldsearch
    : field eq searchterm
    ;

field
    : id
    ;

table
    : id
    ;

searchterm
    : 
    | string
    | id+
    | digit+
    | digit+ id+ 
    ;

string
    : '"' ~('\n'|'"')* ('"' )
    ;

and
    : 'and'
    ;

or
    : 'or'
    ;

not
    : 'not'
    ;
no
    : 'no'
    ;

every
    : 'every'
    ;

eq
    : '='
    ;

fragment valid_id_start
    : ('a' .. 'z') | ('a' .. 'z') | '_'
    ;

fragment valid_id_char
    : valid_id_start | ('0' .. '9')
    ;

id
    : valid_id_start valid_id_char*
    ;

digit
    : ('0' .. '9')
    ;

/*
not_special
    : ~(' ' | '\t' | '\n' | '\r' | '\'' | '"' | ';' | '.' | '=' | '(' | ')' )
    ; */

ws
   : [ \r\n\t] + -> skip
;

问题是搜索词太受限制。它应该匹配注释掉的 not_special 中的任何字符，即有效的查询将是：

Person Name=%
Person Address=^%Street%%%$^&*@^

但是每当我尝试以任何方式将 not_special 放入搜索词的定义中时，它都不起作用。我也尝试过将其字面意义放入规则中（注释掉 not_special）和许多其他内容，但它就是行不通。在我的大多数尝试中，语法只是抱怨“=”后的无关输入，并表示它期待 eof。但我也不能将 eof 放入 not_special。

有什么方法可以简单地解析规则字段搜索中“=”之后的每个文本，直到出现空格或“)”、“(”？

注意string 规则工作正常，但不应要求用户每次都使用引号，因为这是一个命令行工具，需要对它们进行转义。

目标语言是 go。

解决方案

您可以通过引入 lexical mode 来解决这个问题，只要您匹配 eq 令牌，您就需要输入该值。进入该词法模式后，您可以匹配 (, ) 或空格（在这种情况下，您会弹出词法模式），或者继续匹配 not_special 字符。

通过使用词法模式，您必须在自己的文件中定义词法分析器和解析器规则。请务必使用 lexer 语法 ... 和 parser 语法 ...，而不是在组合 .g4 文件中使用的 grammar ...。

快速演示：

lexer grammar mdblexer;

string
 : '"' ~[\r\n"]* '"'
 ;

opar
 : '('
 ;

cpar
 : ')'
 ;

and
 : 'and'
 ;

or
 : 'or'
 ;

not
 : 'not'
 ;

no
 : 'no'
 ;

every
 : 'every'
 ;

eq
 : '=' -> pushmode(not_special_mode)
 ;

id
 : valid_id_start valid_id_char*
 ;

digit
 : [0-9]
 ;

ws
 : [ \r\n\t]+ -> skip
 ;

fragment valid_id_start
 : [a-za-z_]
 ;

fragment valid_id_char
 : [a-za-z_0-9]
 ;

mode not_special_mode;

  opar2
   : '(' -> type(opar), popmode
   ;

  cpar2
   : ')' -> type(cpar), popmode
   ;

  ws2
   : [ \t\r\n] -> skip, popmode
   ;

  not_special
   : ~[ \t\r\n()]+
   ;

你的解析器语法将像这样开始：

parser grammar mdbparser;

options {
    tokenvocab=mdblexer;
}

start
 : searchclause eof
 ;

// your other parser rules

我的go有点生疏，但是一个小的java测试：

string source = "person address=^%street%%%$^&*@^()";

mdblexer lexer = new mdblexer(charstreams.fromstring(source));

commontokenstream tokens = new commontokenstream(lexer);
tokens.fill();

for (token t : tokens.gettokens()) {
  system.out.printf("%-15s %s\n", mdblexer.vocabulary.getsymbolicname(t.gettype()), t.gettext());
}

打印以下内容：

ID              Person
ID              Address
EQ              =
NOT_SPECIAL     ^%Street%%%$^&*@^
OPAR            (
CPAR            )
EOF             

到这里，我们也就讲完了《使用 ANTLR4 来匹配可输出的类字母字符，以便实现在 Go 语言中的目标》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！