正则表达式引擎的构建——基于编译原理DFA(龙书第三章)——1 概述
說明:本系列文章介紹的算法均來自編譯原理(龍書)一書,如果讀者對代碼沒有興趣,只想了解算法思路,完全可以閱讀龍書相關(guān)章節(jié)內(nèi)容,比我講得清晰透徹。
序:
? ? 啃編譯原理半年以來,任然徘徊在前4章,其間反反復(fù)復(fù),時(shí)而不求甚解,時(shí)而略有所悟。其間接觸到正則表達(dá)式,對其實(shí)現(xiàn)原理頗有興趣,于是百度之、谷歌之,以求解惑。
先是搜索到不少國內(nèi)發(fā)表的學(xué)術(shù)論文和各位大俠博客上的文章,后又通過文章鏈接中的鏈接找到一篇不錯(cuò)的老外寫的文章,并附有源碼,看完了其文章,基本上和編譯原理(龍書)中介紹的先從正則表達(dá)式構(gòu)造NFA,再將NFA轉(zhuǎn)化為DFA,最后在優(yōu)化、化簡DFA的思路一樣。而我在下載其代碼后稍微看了一些片段,試運(yùn)行了一下發(fā)現(xiàn)代碼寫的有BUG,內(nèi)存釋放有問題,略覺不爽。于是便想自寫一個(gè)玩玩,但如若還按照從正則表達(dá)式到NFA,再從NFA到DFA的過程,又覺得重復(fù)別人的老路,參考別人的代碼頗無趣味。
老外的文章和代碼下載地址在這里:http://www.codeproject.com/Articles/5412/Writing-own-regular-expression-parser
于是翻看龍書第三章后半部分,看到有直接從正則表達(dá)式構(gòu)造得到DFA的算法過程。覺得可以一試,于是就有了這篇系列文章,有了2個(gè)來星期的1000多行代碼(含空行^_^)。
根據(jù)正則表達(dá)式構(gòu)造最小DFA的過程,總結(jié)如下:
1 根據(jù)正則表達(dá)式構(gòu)造抽象語法樹T。
2 從T的根節(jié)點(diǎn)開始,進(jìn)行深度優(yōu)先遍歷,對每一個(gè)節(jié)點(diǎn)計(jì)算該節(jié)點(diǎn)的4個(gè)函數(shù):nullable, firstpos, lastpos, followpos。
3 從T的根節(jié)點(diǎn)N0開始,構(gòu)建狀態(tài)集列表LIST,開始時(shí)狀態(tài)集鏈表LIST中只包含firstpos(N0)。
4 遍歷LIST中的各個(gè)元素(開始的時(shí)候LIST中只有一個(gè)元素),假設(shè)當(dāng)前遍歷到第i個(gè)元素,LIST(I)是一個(gè)集合,集合中每個(gè)節(jié)點(diǎn)對應(yīng)的輸入字符是不一樣的,按照輸入字符對節(jié)點(diǎn)進(jìn)行分組(例如代表字符a的分在一個(gè)組中,代表字符b的分在一個(gè)組中),對每個(gè)組中各個(gè)節(jié)點(diǎn)K計(jì)算followpos(K),followpos(K)也是一個(gè)集合,K可能不止一個(gè),得到的結(jié)果可能是多個(gè)集合,將這多個(gè)集合合并為一個(gè)集合S。如果這個(gè)集合S在LIST中還沒有出現(xiàn)過,則將這個(gè)集合S加入到LIST中。同時(shí),不管S是否在LIST中出現(xiàn)過沒有,都需要記錄下轉(zhuǎn)換過程:LIST(i)經(jīng)過某個(gè)字符(前面分組過程依據(jù)的字符)到達(dá)集合S。就這樣一邊處理LIST鏈表,一邊記錄轉(zhuǎn)換過程,直到LIST中的元素依次從頭到尾都被處理完畢。
最后得到的LIST鏈表和所有轉(zhuǎn)換過程記錄就構(gòu)成了一個(gè)有向圖,實(shí)質(zhì)上就是一個(gè)DFA(確定性有窮狀態(tài)自動機(jī))。
5 對得到的DFA進(jìn)行最小化處理。
?
轉(zhuǎn)載于:https://www.cnblogs.com/snake-hand/archive/2013/06/09/3129886.html
總結(jié)
以上是生活随笔為你收集整理的正则表达式引擎的构建——基于编译原理DFA(龙书第三章)——1 概述的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 疑问:关于Microsoft Offic
- 下一篇: 《Excel与VBA程序设计》第一章