當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

了解antlr

發布時間：2023/12/29 编程问答 37 豆豆

生活随笔收集整理的這篇文章主要介紹了了解antlr 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

? ? antlr是指可以根據輸入自動生成語法樹并可視化的顯示出來的開源語法分析器。ANTLR—Another Tool for Language Recognition，其前身是PCCTS，它為包括Java，C++，C#在內的語言提供了一個通過語法描述來自動構造自定義語言的識別器（recognizer），編譯器（parser）和解釋器（translator）的框架。

1 ANTLR簡介

ANTLR—Another Tool for Language Recognition，其前身是PCCTS，它為包括Java，C++，C#在內的語言提供了一個通過語法描述來自動構造自定義語言的識別器（recognizer），編譯器（parser）和解釋器（translator）的框架。ANTLR可以通過斷言（Predicate）解決識別沖突；支持動作（Action）和返回值（Return Value）來；更棒的是，它可以根據輸入自動生成語法樹并可視化的顯示出來（這一點我將在下面的例子中演示）。由此，計算機語言的翻譯變成了一項普通的任務—在這之前YACC/LEX顯得過于學院派，而以LL（k）為基礎的ANTLR雖然在效率上還略有不足，但是經過近些年來的升級修改，使得ANTLR足以應付現存的絕大多數應用。感謝Terence Parr博士和他的同事們十幾年來的出色工作，他們為編譯理論的基礎和語言工具的構造做了大量基礎性工作，也直接導致了ANTLR的產生。

1.1 詞法分析器（Lexer）

詞法分析器又稱為Scanner，Lexical analyser和Tokenizer。程序設計語言通常由關鍵字和嚴格定義的語法結構組成。編譯的最終目的是將程序設計語言的高層指令翻譯成物理機器或虛擬機可以執行的指令。詞法分析器的工作是分析量化那些本來毫無意義的字符流，將他們翻譯成離散的字符組（也就是一個一個的Token），包括關鍵字，標識符，符號（symbols）和操作符供語法分析器使用。

1.2 語法分析器（Parser）

編譯器又稱為Syntactical analyser。在分析字符流的時候，Lexer不關心所生成的單個Token的語法意義及其與上下文之間的關系，而這就是Parser的工作。語法分析器將收到的Tokens組織起來，并轉換成為目標語言語法定義所允許的序列。

無論是Lexer還是Parser都是一種識別器，Lexer是字符序列識別器而Parser是Token序列識別器。他們在本質上是類似的東西，而只是在分工上有所不同而已。如下圖所示：

字符輸入流、tokens和AST之間的關系

1.3 樹分析器 (tree parser)

樹分析器可以用于對語法分析生成的抽象語法樹進行遍歷，并能執行一些相關的操作。

1.4 ANTLR

ANTLR將上述結合起來，它允許我們定義識別字符流的詞法規則和用于解釋Token流的語法分析規則。然后，ANTLR將根據用戶提供的語法文件自動生成相應的詞法/語法分析器。用戶可以利用他們將輸入的文本進行編譯，并轉換成其他形式（如AST—Abstract Syntax Tree，抽象的語法樹）。

一.ANTRL 是什么

ANTLR 是用JAVA寫的語言識別工具，它用來聲明語言的語法，簡稱為“元語言”(meta-language)。

ANTLR 語法識別一般分為二個階段：

1.詞法分析階段（lexical analysis)

對應的分析程序叫做?lexer?，負責將符號（token）分組成符號類（token class or token type）

2.解析階段

根據詞法，構建出一棵分析樹（parse tree）或叫語法樹（syntax tree）?
?

ANTLR 的直觀印象，就像是在走迷宮，或者說是電路板更準確，最終只有一條最優路可通達開始與結束，中間的各種叉路與開關，就是我們所編寫的規則，下面是我編寫的一個SQL查詢的簡單實現，截取一部分圖示：

ANTLR 官方網址?http://www.antlr.org/

ANTLR 官方 Github?https://github.com/antlr/antlr4

大量語法文件例子?https://github.com/antlr/grammars-v4

二.主要應用場景

1.定制特定領域語言（DSL)

類似hibernate中的HQL，用DSL來定義要執行操作的高層語法，這種語法接近人可理解的語言，由DSL到計算機語言的翻譯則通過ANTLR來做，可在ANTLR的結構語言中定義DSL命令具體要執行何種操作。

2.文本解析?可利用ANTLR解析JSON，HTML，XML，EDIFACT，或自定義的報文格式。解析出來的信息需要做什么處理也可以在結構文件中定義。

3.數學計算?加減乘除，線性方程，幾何運算，微積分等等

三.ANTRL 語法

1.結構

/** Optional javadoc style comment */ grammar Name; options {...} import ... ;tokens {...} channels {...} // lexer only @actionName {...}rule1 // parser and lexer rules, possibly intermingled ... ruleN

grammar

聲明語法頭，類似于java類的定義

grammar SPL;

options

選項，如語言選項，輸出選項，回溯選項，記憶選項等等

options { output=AST; language=Java; }options { tokenVocab=MySqlLexer; }

@actionName

動作（Actions）實際上是用目標語言寫成的、嵌入到規則中的代碼（以花括號包裹）。它們通常直接操作輸入的標號，但是他們也可以用來調用相應的外部代碼。屬性，到目前為止我的理解還不多，感覺像是C++中類里面的成員。常用屬性或動作說明：

@header { package com.zetyun.aiops.antlr.test; }

這個動作很有用，即在運行腳本后，生成的類中自動帶上這個包路徑，避免了手動加入的麻煩。
@members { int i; public TParser(TokenStream input, int foo) { this(input); i = foo; }}
@after {System.out.println("after matching rule; before finally");}

rule

這是核心，表示規則，以 “:” 開始， “;” 結束，多規則以 "|" 分隔。

2.注釋

單行、多行、javadoc風格
javadoc風格只能在開頭使用

/** * This grammar is an example illustrating the three kinds* of comments.*/ grammar T;/* a multi-linecomment *//** This rule matches a declarator for my language */decl : ID ; // match a variable name

3.標識符

符號(Token)名大寫開頭
解析規則(Parser rule)名小寫開頭,后面可以跟字母、數字、下劃線

ID, LPAREN, RIGHT_CURLY // token names expr, simpleDeclarator, d2, header_file // rule names

四.遍歷模式

1、Listener (觀察者模式，通過結點監聽，觸發處理方法)

程序員不需要顯示定義遍歷語法樹的順序，實現簡單
缺點，不能顯示控制遍歷語法樹的順序
動作代碼與文法產生式解耦，利于文法產生式的重用
沒有返回值，需要使用map、棧等結構在節點間傳值

2、Visitor (訪問者模式，主動遍歷)

程序員可以顯示定義遍歷語法樹的順序
不需要與antlr遍歷類ParseTreeWalker一起使用，直接對tree操作
動作代碼與文法產生式解耦，利于文法產生式的重用
visitor方法可以直接返回值，返回值的類型必須一致，不需要使用map這種節點間傳值方式，效率高

五.示例

計算器之四則運算（官方例子照抄）

1、新建g4文件，如Math.g4

grammar Math;@header{package com.zetyun.aiops.core.math;} prog : stat+;stat: expr NEWLINE # printExpr| ID '=' expr NEWLINE # assign| NEWLINE # blank;expr: expr op=('*'|'/') expr # MulDiv | expr op=('+'|'-') expr # AddSub | INT # int | ID # id | '(' expr ')' # parens ;MUL : '*' ; // assigns token name to '*' used above in grammar DIV : '/' ; ADD : '+' ; SUB : '-' ; ID : [a-zA-Z]+ ; INT : [0-9]+ ; NEWLINE:'\r'? '\n' ; WS : [ \t]+ -> skip;

2、運行Math.g4文件，生成.java文件

如果沒有安裝eclipse antlr插件的話，根據如下指示操作即可：

help -> Eclipse Marketplace -> 搜索 Antlr -> 選中合適版本，安裝即可。

3、編寫測試文件，檢驗語法，驗證結果等

package com.zetyun.aiops.test;import org.antlr.v4.runtime.CharStream; import org.antlr.v4.runtime.CharStreams; import org.antlr.v4.runtime.CommonTokenStream; import org.antlr.v4.runtime.tree.ParseTree;import com.zetyun.aiops.core.math.MathLexer; import com.zetyun.aiops.core.math.MathParser;public class Math {public static void main(String[] args) {CharStream input = CharStreams.fromString("12*2+12\r\n");MathLexer lexer=new MathLexer(input);CommonTokenStream tokens = new CommonTokenStream(lexer);MathParser parser = new MathParser(tokens);ParseTree tree = parser.prog(); // parseMathVisitorTest vt=new MathVisitorTest();vt.visit(tree);}}

4、語法樹分析

1) 下載antlr4運行包，這里我選擇的版本是 antlr-4.7-complete.jar

http://www.antlr.org/download.html
2) 新建運行腳本 antlr4.bat 和 grun.bat，放置于任意目錄，如 E:/tools/antlr4

antlr4.bat 內容：
java org.antlr.v4.Tool %*
grun.bat 內容：
java org.antlr.v4.gui.TestRig %*
注：antlr依賴于java，如果java環境變量沒有設置，請先行設置好。
3) 設置antlr4的系統環境變量(classpath 和 path)

classpath：

?

path (.bat所在目錄) :

?
4) 選擇要分析的g4文件，運行命令生成相關java文件與token文件

D:\workspace\AntlrTest\test\math> antlr4 Math.g4

5) 編譯java文件

D:\workspace\AntlrTest\test\math>javac ./*.java

6) 分析語法樹

輸入grun命令回車，在命令行輸入你要測試的語法，再回車，按Ctrl+z 后回車。

D:\workspace\AntlrTest\test\math>grun Math expr -guiD:\workspace\AntlrTest\test\math>java org.antlr.v4.gui.TestRig Math expr -gui (2+3)*5-25/5 ^Z

執行完命令后，會出現GUI窗口：

通過語法樹，我們可以直觀的知道語法是否正確，以便隨時調整。

標簽:?Antlr4 入門,?Antlr4 語法,?g4 語法,?Antlr4 操作說明

總結

以上是生活随笔為你收集整理的了解antlr的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

ANTLR

上一篇： linux fcitx
下一篇：全球及中国药店市场竞争现状调研与运营风险