前言

JavaCC是Java編程語言中最古老、使用最廣泛的解析器生成器之一，但它往往被認為難以使用。有些程序員還沒有遇到過解析器生成器范式，因此不熟悉編寫規范然后據此生成解析器的過程。其他程序員對使用另一個解析器生成器（譬如古老的lex/yacc的組合）記憶久遠，現在需要進一步了解JavaCC的語法和指定文法的能力。即使是用過JavaCC的程序員也可能不確定某些高級功能如何工作或如何有效地調試特定的JavaCC問題。

當我第一次使用JavaCC時，一位同事為我設置了JavaCC文法并編寫了一些Ant目標來開始工作。在接下來一年左右的時間里，我偶爾會對文法做一些修改，閉上眼睛，運行Ant和單元測試，并希望一切仍然正常。終于我有一些頓悟（首先是符號化！節點描述符可以使樹變得更簡單！）并開始真正理解那些迄今為止我盡可能避免使用的大型.jjt文件。在那之后我撰寫了更多的文法掛在JavaCC郵件列表上，為JavaCC的源代碼庫提供了一些修復，并且慢慢地越來越熟悉JavaCC和JJTree。

JavaCC有一定數量的在線文檔；在您最喜歡的搜索引擎中輸入“JavaCC”將會出現一大堆的結果：文章、博客條目、JavaCC郵件列表的歸檔、JavaCC站點的文檔等等。這些結果中比較有用的一個是“JavaCC FAQ”，它由Theodore Norvell博士維護，包含許多有用的信息。我多次反復閱讀此FAQ（常見問題解答），并且總是能從中學到一些新的東西。

盡管有了這些在線文檔，但JavaCC看起來仍然無法接近，而且對于更高級的問題的回答可能難以捉摸。這是一個遺憾，因為JavaCC是一個多用途且功能強大的實用程序，可以輕松處理大多數解析作業。更妙的是，有許多現有的JavaCC文法，因此如果你需要處理特定的語言，那么很可能已經存在針對它的JavaCC文法。了解JavaCC如何工作以及如何有效地使用它可以將一個月的項目變成一個可以在一天內解決的問題。

考慮到這一點，讓JavaCC更易于訪問是我撰寫本書的主要動力之一。我的意圖是，正在從事解析工作的程序員可以拿起這本書，轉到目錄或索引，并快速找到幾乎任何JavaCC問題的解決方案。無論您是從頭開始編寫文法還是修改現有文法，我希望您能在這里找到問題的答案。

本書是如何組織的

本書分為十一章和兩個附錄。

• 第1章介紹了JavaCC和JJTree的概述。它還向您展示了如何使用Ant構建工具和Maven構建工具從命令行運行JavaCC。
• 第2章討論使用JavaCC編寫記號賦予器（Tokenizer）。它包括正則表達式生成、詞法操作、詞法狀態以及用于創建和修改記號的各種技術。
• 第3章介紹JavaCC的核心：編寫解析器的語法規范。我們將討論基本的文法元素、語法操作、各種類型的前瞻性以及避免常見解析陷阱的方法。
• 第4章描述了JavaCC的內置樹構建器JJTree。本章著眼于將文法從JavaCC移動到JJTree、節點創建和節點描述符，以及編寫遍歷抽象語法樹的程序。
• 第5章是一個簡短的章節，涵蓋了JavaCC的文檔實用工具JJDoc。我們將討論JJDoc功能，并回顧一些最近添加的功能。
• 第6章介紹如何使用JavaCC處理Unicode數據。我們將介紹JavaCC為處理Unicode轉義序列提供的工具、一些常見的字符編碼問題和解決方案，以及使用JavaCC的Unicode相關選項。
• 第7章討論錯誤處理策略。本章將介紹符號化（Tokenizing）、解析和樹構建階段中的錯誤檢測、報告和恢復。
• 第8章是一個案例研究。在本章中，我們將討論您將看到的更復雜的文法之一——JavaCC文法本身。我們研究該文法解決各種解析問題的方式，同時花時間討論JavaCC文法結構。
• 第9章討論測試JavaCC的策略。我們將介紹如何使用流行的單元測試工具JUnit為記號設定器和解析器的編寫測試。我們還探索了一種使用XPath表達式來測試JJTree生成的抽象語法樹的技術。
• 第10章演示了Eclipse JavaCC插件的操作。我們將討論插件的安裝和配置，以及它的許多特性的概述，以及它如何在JavaCC編程任務中節省您的時間和精力。
• 第11章用幾個小示例文法進行了總結，以說明各種技術并將它們結合在一起。本章說明，即使您沒有編寫過大而復雜的語言文法，JavaCC也是有用的。JavaCC也適用于小型作業！
• 附錄A介紹了JavaCC目錄布局。我們還討論了如何從源代碼構建JavaCC。
• 附錄B顯示了JavaCC、JJTree、JJDoc和JTB選項的列表。這些選項在相應的章節中有詳細介紹，但在此處提供這些選項以供快速參考。

本書的目標讀者

我將本書的目標讀者定位于使用JavaCC和JJTree來解決解析問題的程序員。但是，如果幸運的話，本書將對很多人有所幫助。從以下幾個角度思考您將從本書中得到什么：

• 項目經理 如果您是一個使用JavaCC的項目的經理，那么這本書可以作為參考。它涵蓋了JavaCC的記號賦予器（Tokenizer）、解析器和樹構建器的大部分（如果不是全部的話）重要特性，它還包括棘手但重要的主題，比如處理國際字符集。如果JavaCC已經成為一個不為人知的項目，那么它就不需要再存在了。
• 學生 如果您是一名學生，本書將幫助你把編譯器理論課程教材和講義中的例子翻譯成可運行的Java代碼。JavaCC包含您將看到在課程中提及的所有技術能力，例如EBNF支持和LL(k)解析。它還包含了一些額外的特性，比如詞法操作和狀態、大量定制解析樹的功能，以及可以使解析問題的更容易解決的擴展調試功能。最后，JavaCC在企業和開源世界中都得到了廣泛的應用，現在熟悉它可以在您參與課堂外的編程時獲得回報。
• 教師 教師不會在本書中發現大量的新理論材料，但它應該有助于學生弄清楚復雜的左遞歸與算子關聯。您可能會發現，關于測試JavaCC解析器的部分有助于讓學生保持在正確的軌道上，而且Eclipse插件可以消除一些命令行繁重的工作。書中涉及的許多話題都是由老師們提出的，額外的反饋當然是非常受歡迎的。
• 程序員 最后，本書的主要讀者是從頭開始創建JavaCC文法或致力于改進、增強或調試現有文法的程序員。當前的JavaCC文檔包含一些很好的信息，但是閱讀它就像跳入池的最深處。希望本書中的許多示例將提供一個審慎的介紹，并可能填補一些空白。快速的谷歌搜索可以找到許多JavaCC教程，但是一篇5頁的在線文章不能如此深入。本書旨在提供關于JavaCC和JJTree更多不為人知的細節。

概括地說，我認為您會發現學習和使用JavaCC將使您成為更好的程序員。計算機程序是用人類可讀的文本編寫的，必須有人編寫程序將源代碼翻譯成機器碼。JavaCC涵蓋了該過程的前端：讀取代碼、驗證和解析，以及生成可用的語法樹。這是一個完整的編譯器的一半，剩下的就是編寫代碼生成后端。一旦您對這個過程的機制有了很好的了解，您就會注意到編譯器技術被用在各種各樣的地方，并且您將能夠更有效地為這些工作做出貢獻。

未包含內容

本書限于特定的解析器生成器：JavaCC。它旨在為該工具提供一個很好的參考和大量示例。但意味著這不是一本關于編譯器構造的書，也不是一本關于解析理論的書。所以您不會看到在那些類型的書中才會出現的討論；比如，不存在任何從NFA到DFA轉換。也沒有對諸如喬姆斯基譜系（Chomsky?hierarchy）等形式文法的深入討論。我在參考書目中列入了幾本涉及這些領域的參考資料書籍。

當然，如果我認為它能幫助您更多地理解特定的JavaCC特性，那么我將偶爾會深入探討一些理論。但在大多數情況下，本書仍然堅持實用。

慣例（約定）

代碼示例、程序輸出以及腳本和程序名稱都使用monospace字體編寫。各種JavaCC類的名稱通常也用monospace表示，例如，“這將生成一個TokenManager接口”。有時，如果一個類在一般意義上被引用，它將使用常規字體，例如，“如果您想要完全控制，您可能需要編寫自己的TokenManager。”

第一次使用技術術語時，它是用斜體寫的。偶爾我會重復斜體字，如一個術語在書中早期的高層意義上首次使用。

代碼示例

有關更新，勘誤表和示例代碼，請參閱本書的網站：

http://generatingparserswithjavacc.com/

再版說明

這是第二版，因此它與第一版有許多相似之處；書的整體結構和內容大致相同。但是JavaCC?4.1于2008年夏末發布，自那時起已經發布了幾個bugfix版本。因此，此版本涵蓋了這些新版本中提供的新特性和Bug修復。我試圖通過在索引中使用“JavaCC 4.0新增”標記它們來輕松定位這些與JavaCC版本相關的更新，因此您可以翻到后面并查找所有已更改的內容。我還將本書中提到的基礎結構和實用程序（Java、Ant、Maven、Eclipse）的更新，以便它們與您在項目中使用JavaCC時可能找到的內容更加匹配。最后，在最近的版本中發現并修復的一些小Bug，我也在這里提到了。

聯系我們

我們已經做了很大的努力來確保書中的材料是準確的，但是一些錯誤可能會在過程中出現。請告訴我們有關錯誤、令人困惑的內容，或您認為我們可能有興趣在未來的版本修復的任何其他內容。你可以通過以下方式聯系Centennial Books：

?

Centennial Books

1591 Chapel Hill Drive Alexandria, VA 22304

USA Phone: 703-751-6162

Fax: 703-751-2045

Email: <centennialbooks@comcast.net>

如有技術問題，請隨時直接與作者聯系：<tom@infoether.com>。

致謝

首先，也是最重要的，要感謝我的妻子Alina，感謝她在我日復一日地埋頭寫這本書的時候所表現出的耐心。感謝我們的孩子（Maria、Tommy、Anna、Sarah、Steven和James）在這段時間里給我們的擁抱。

感謝我的第一版技術評審員：Kenneth Beesley博士、Sophie Quigley和Rémi?Koutchérawy。他們填補了許多空白，如果沒有他們出色的反饋，這本書的可讀性會低得多。剩下的任何錯誤或遺漏都是我的。

非常感謝Sriram Sankar博士和Sreenivasa Viswanadha撰寫和維護JavaCC。他們做了大量的工作來實現JavaCC，消除所有的初始Bug，并優化JavaCC本身和JavaCC生成的代碼。他們應該為這個對很多人都非常有用的超級實用工具得到所有的贊譽。還要感謝Paul Cager為發布JavaCC 4.1（及其后續版本）所做的努力；他在實現特性、修復Bug和保持整體運轉方面做了大量工作。

感謝Sun Microsystem的Michael Van De Vanter博士在協調JavaCC開源工作方面所做的工作。同樣，還要感謝Paul Cager幾年前在清理JavaCC許可條款方面所做的工作。

我從JavaCC的用戶郵件列表的討論中獲益匪淺。Sankar博士和Sreenivasa Viswanadha博士在那里發布了大量有用的材料。Nathan Ryan博士的帖子非常有用；有一段時間，我瀏覽了這份清單的檔案，并把每一份都重新讀了一遍。

其次，要感謝Kenneth Beesley博士撰寫的關于JavaCC主題的優秀白皮書；它們對于幫助我理解各種棘手的問題非常有幫助。感謝Theodore Norvell博士撰寫和維護JavaCC FAQ，這是我最初學習資料的來源之一。感謝Curtis?Dyreson博士建議包含語法測試的章節。感謝Matt Kirkey對本書進行了早期評論和提供的一些有用的反饋。

感謝Nathan Ryan博士對第一版的廣泛反饋。還要感謝Nathan Ward和John Wilson在第一版中查找并報告了幾個拼寫錯誤。

總結

以上是生活随笔為你收集整理的使用JavaCC生成解析器（前言）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。