前言

各位小伙伴大家好，接下來幾天時(shí)間，我會(huì)從多個(gè)角度對(duì)正則表達(dá)式進(jìn)行系統(tǒng)闡述，讓你了解正則表達(dá)式的前世今生。

以下是博主整理的Linux知識(shí)專欄，喜歡的小伙伴可根據(jù)自己的需求自行訂閱。

Linux疑難雜癥解決指南

正則表達(dá)式基礎(chǔ)知識(shí)

除非你以前使用過正則表達(dá)式，否則你可能不熟悉此術(shù)語。但是，毫無疑問，你已經(jīng)使用過不涉及腳本的某些正則表達(dá)式概念。

例如，你很可能使用 ? 和 * 通配符來查找硬盤上的文件。通配符匹配文件名中的單個(gè)字符，而 * 通配符匹配零個(gè)或多個(gè)字符。像 data?.dat 這樣的模式將查找下列文件：

data1.dat data2.dat datax.dat dataN.dat

使用 * 字符代替 ? 字符擴(kuò)大了找到的文件的數(shù)量。data*.dat 匹配下列所有文件：

data.dat data1.dat data2.dat data12.dat datax.dat dataXYZ.dat

盡管這種搜索方法很有用，但它還是有限的。通過理解 * 通配符的工作原理，引入了正則表達(dá)式所依賴的概念，但正則表達(dá)式功能更強(qiáng)大，而且更加靈活。

正則表達(dá)式的使用，可以通過簡(jiǎn)單的辦法來實(shí)現(xiàn)強(qiáng)大的功能。下面先給出一個(gè)簡(jiǎn)單的示例：

^.+@.+\\..+$

?

為什么使用正則表達(dá)式？

典型的搜索和替換操作要求你提供與預(yù)期的搜索結(jié)果匹配的確切文本。雖然這種技術(shù)對(duì)于對(duì)靜態(tài)文本執(zhí)行簡(jiǎn)單搜索和替換任務(wù)可能已經(jīng)足夠了，但它缺乏靈活性，若采用這種方法搜索動(dòng)態(tài)文本，即使不是不可能，至少也會(huì)變得很困難。

通過使用正則表達(dá)式，可以：

• 測(cè)試字符串內(nèi)的模式。
  例如，可以測(cè)試輸入字符串，以查看字符串內(nèi)是否出現(xiàn)電話號(hào)碼模式或信用卡號(hào)碼模式。這稱為數(shù)據(jù)驗(yàn)證。
• 替換文本。
  可以使用正則表達(dá)式來識(shí)別文檔中的特定文本，完全刪除該文本或者用其他文本替換它。
• 基于模式匹配從字符串中提取子字符串。
  可以查找文檔內(nèi)或輸入域內(nèi)特定的文本。

例如，你可能需要搜索整個(gè)網(wǎng)站，刪除過時(shí)的材料，以及替換某些 HTML 格式標(biāo)記。在這種情況下，可以使用正則表達(dá)式來確定在每個(gè)文件中是否出現(xiàn)該材料或該 HTML 格式標(biāo)記。此過程將受影響的文件列表縮小到包含需要?jiǎng)h除或更改的材料的那些文件。然后可以使用正則表達(dá)式來刪除過時(shí)的材料。最后，可以使用正則表達(dá)式來搜索和替換標(biāo)記。

發(fā)展歷史

正則表達(dá)式的"祖先"可以一直上溯至對(duì)人類神經(jīng)系統(tǒng)如何工作的早期研究。Warren McCulloch 和 Walter Pitts 這兩位神經(jīng)生理學(xué)家研究出一種數(shù)學(xué)方式來描述這些神經(jīng)網(wǎng)絡(luò)。

1956 年, 一位叫 Stephen Kleene 的數(shù)學(xué)家在 McCulloch 和 Pitts 早期工作的基礎(chǔ)上，發(fā)表了一篇標(biāo)題為"神經(jīng)網(wǎng)事件的表示法"的論文，引入了正則表達(dá)式的概念。正則表達(dá)式就是用來描述他稱為"正則集的代數(shù)"的表達(dá)式，因此采用"正則表達(dá)式"這個(gè)術(shù)語。

隨后，發(fā)現(xiàn)可以將這一工作應(yīng)用于使用 Ken Thompson 的計(jì)算搜索算法的一些早期研究，Ken Thompson 是 Unix 的主要發(fā)明人。正則表達(dá)式的第一個(gè)實(shí)用應(yīng)用程序就是 Unix 中的 qed 編輯器。

如他們所說，剩下的就是眾所周知的歷史了。從那時(shí)起直至現(xiàn)在正則表達(dá)式都是基于文本的編輯器和搜索工具中的一個(gè)重要部分。

應(yīng)用領(lǐng)域

目前，正則表達(dá)式已經(jīng)在很多軟件中得到廣泛的應(yīng)用，包括 *nix（Linux, Unix等）、HP 等操作系統(tǒng)，PHP、C#、Java 等開發(fā)環(huán)境，以及很多的應(yīng)用軟件中，都可以看到正則表達(dá)式的影子。

正則表達(dá)式 -?語法

正則表達(dá)式(regular expression)描述了一種字符串匹配的模式，可以用來檢查一個(gè)串是否含有某種子串、將匹配的子串做替換或者從某個(gè)串中取出符合某個(gè)條件的子串等。

• 列目錄時(shí)，　dir *.txt或ls *.txt中的*.txt就不是一個(gè)正則表達(dá)式,因?yàn)檫@里*與正則式的*的含義是不同的。
• 構(gòu)造正則表達(dá)式的方法和創(chuàng)建數(shù)學(xué)表達(dá)式的方法一樣。也就是用多種元字符與運(yùn)算符可以將小的表達(dá)式結(jié)合在一起來創(chuàng)建更大的表達(dá)式。正則表達(dá)式的組件可以是單個(gè)的字符、字符集合、字符范圍、字符間的選擇或者所有這些組件的任意組合。

正則表達(dá)式是由普通字符（例如字符 a 到 z）以及特殊字符（稱為"元字符"）組成的文字模式。模式描述在搜索文本時(shí)要匹配的一個(gè)或多個(gè)字符串。正則表達(dá)式作為一個(gè)模板，將某個(gè)字符模式與所搜索的字符串進(jìn)行匹配。

普通字符

普通字符包括沒有顯式指定為元字符的所有可打印和不可打印字符。這包括所有大寫和小寫字母、所有數(shù)字、所有標(biāo)點(diǎn)符號(hào)和一些其他符號(hào)。

非打印字符

非打印字符也可以是正則表達(dá)式的組成部分。下表列出了表示非打印字符的轉(zhuǎn)義序列：

字符描述

\cx	匹配由x指明的控制字符。例如， \cM 匹配一個(gè) Control-M 或回車符。x 的值必須為 A-Z 或 a-z 之一。否則，將 c 視為一個(gè)原義的 'c' 字符。
\f	匹配一個(gè)換頁符。等價(jià)于 \x0c 和 \cL。
\n	匹配一個(gè)換行符。等價(jià)于 \x0a 和 \cJ。
\r	匹配一個(gè)回車符。等價(jià)于 \x0d 和 \cM。
\s	匹配任何空白字符，包括空格、制表符、換頁符等等。等價(jià)于 [ \f\n\r\t\v]。
\S	匹配任何非空白字符。等價(jià)于 [^ \f\n\r\t\v]。
\t	匹配一個(gè)制表符。等價(jià)于 \x09 和 \cI。
\v	匹配一個(gè)垂直制表符。等價(jià)于 \x0b 和 \cK。

特殊字符

所謂特殊字符，就是一些有特殊含義的字符，如上面說的"*.txt"中的*，簡(jiǎn)單的說就是表示任何字符串的意思。如果要查找文件名中有*的文件，則需要對(duì)*進(jìn)行轉(zhuǎn)義，即在其前加一個(gè)\。ls \*.txt。

許多元字符要求在試圖匹配它們時(shí)特別對(duì)待。若要匹配這些特殊字符，必須首先使字符"轉(zhuǎn)義"，即，將反斜杠字符 (\) 放在它們前面。下表列出了正則表達(dá)式中的特殊字符：

特別字符描述

$	匹配輸入字符串的結(jié)尾位置。如果設(shè)置了 RegExp 對(duì)象的 Multiline 屬性，則 $ 也匹配 '\n' 或 '\r'。要匹配 $ 字符本身，請(qǐng)使用 \$。
( )	標(biāo)記一個(gè)子表達(dá)式的開始和結(jié)束位置。子表達(dá)式可以獲取供以后使用。要匹配這些字符，請(qǐng)使用 \( 和 \)。
*	匹配前面的子表達(dá)式零次或多次。要匹配 * 字符，請(qǐng)使用 \*。
+	匹配前面的子表達(dá)式一次或多次。要匹配 + 字符，請(qǐng)使用 \+。
.	匹配除換行符 \n之外的任何單字符。要匹配 .，請(qǐng)使用 \。
[	標(biāo)記一個(gè)中括號(hào)表達(dá)式的開始。要匹配 [，請(qǐng)使用 \[。
?	匹配前面的子表達(dá)式零次或一次，或指明一個(gè)非貪婪限定符。要匹配 ? 字符，請(qǐng)使用 \?。
\	將下一個(gè)字符標(biāo)記為或特殊字符、或原義字符、或向后引用、或八進(jìn)制轉(zhuǎn)義符。例如， 'n' 匹配字符 'n'。'\n' 匹配換行符。序列 '\\' 匹配 "\"，而 '\(' 則匹配 "("。
^	匹配輸入字符串的開始位置，除非在方括號(hào)表達(dá)式中使用，此時(shí)它表示不接受該字符集合。要匹配 ^ 字符本身，請(qǐng)使用 \^。
{	標(biāo)記限定符表達(dá)式的開始。要匹配 {，請(qǐng)使用 \{。
|	指明兩項(xiàng)之間的一個(gè)選擇。要匹配 |，請(qǐng)使用 \|。

限定符

限定符用來指定正則表達(dá)式的一個(gè)給定組件必須要出現(xiàn)多少次才能滿足匹配。有*或+或?或{n}或{n,}或{n,m}共6種。

正則表達(dá)式的限定符有：

字符描述

*	匹配前面的子表達(dá)式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等價(jià)于{0,}。
+	匹配前面的子表達(dá)式一次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等價(jià)于 {1,}。
?	匹配前面的子表達(dá)式零次或一次。例如，"do(es)?" 可以匹配 "do" 、 "does" 中的 "does" 、 "doxy" 中的 "do" 。? 等價(jià)于 {0,1}。
{n}	n 是一個(gè)非負(fù)整數(shù)。匹配確定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的兩個(gè) o。
{n,}	n 是一個(gè)非負(fù)整數(shù)。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等價(jià)于 'o+'。'o{0,}' 則等價(jià)于 'o*'。
{n,m}	m 和 n 均為非負(fù)整數(shù)，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 將匹配 "fooooood" 中的前三個(gè) o。'o{0,1}' 等價(jià)于 'o?'。請(qǐng)注意在逗號(hào)和兩個(gè)數(shù)之間不能有空格。

由于章節(jié)編號(hào)在大的輸入文檔中會(huì)很可能超過九，所以你需要一種方式來處理兩位或三位章節(jié)編號(hào)。限定符給你這種能力。下面的正則表達(dá)式匹配編號(hào)為任何位數(shù)的章節(jié)標(biāo)題：

/Chapter [1-9][0-9]*/

請(qǐng)注意，限定符出現(xiàn)在范圍表達(dá)式之后。因此，它應(yīng)用于整個(gè)范圍表達(dá)式，在本例中，只指定從 0 到 9 的數(shù)字（包括 0 和 9）。

這里不使用 + 限定符，因?yàn)樵诘诙€(gè)位置或后面的位置不一定需要有一個(gè)數(shù)字。也不使用？字符，因?yàn)樗鼘⒄鹿?jié)編號(hào)限制到只有兩位數(shù)。你需要至少匹配 Chapter 和空格字符后面的一個(gè)數(shù)字。

如果你知道章節(jié)編號(hào)被限制為只有 99 章，可以使用下面的表達(dá)式來至少指定一位但至多兩位數(shù)字。

/Chapter [0-9]{1,2}/

上面的表達(dá)式的缺點(diǎn)是，大于 99 的章節(jié)編號(hào)仍只匹配開頭兩位數(shù)字。另一個(gè)缺點(diǎn)是 Chapter 0 也將匹配。只匹配兩位數(shù)字的更好的表達(dá)式如下：

/Chapter [1-9][0-9]?/

或

/Chapter [1-9][0-9]{0,1}/

*、+和?限定符都是貪婪的，因?yàn)樗鼈儠?huì)盡可能多的匹配文字，只有在它們的后面加上一個(gè)?就可以實(shí)現(xiàn)非貪婪或最小匹配。

例如，你可能搜索 HTML 文檔，以查找括在 H1 標(biāo)記內(nèi)的章節(jié)標(biāo)題。該文本在你的文檔中如下：

<H1>Chapter 1 – Introduction to Regular Expressions</H1>

下面的表達(dá)式匹配從開始小于符號(hào) (<) 到關(guān)閉 H1 標(biāo)記的大于符號(hào) (>) 之間的所有內(nèi)容。

/<.*>/

如果你只需要匹配開始 H1 標(biāo)記，下面的"非貪心"表達(dá)式只匹配 <H1>。

/<.*?>/

通過在 *、+ 或 ? 限定符之后放置 ?，該表達(dá)式從"貪心"表達(dá)式轉(zhuǎn)換為"非貪心"表達(dá)式或者最小匹配。

定位符

定位符使你能夠?qū)⒄齽t表達(dá)式固定到行首或行尾。它們還使你能夠創(chuàng)建這樣的正則表達(dá)式，這些正則表達(dá)式出現(xiàn)在一個(gè)單詞內(nèi)、在一個(gè)單詞的開頭或者一個(gè)單詞的結(jié)尾。

定位符用來描述字符串或單詞的邊界，^和$分別指字符串的開始與結(jié)束，\b描述單詞的前或后邊界，\B表示非單詞邊界。

正則表達(dá)式的限定符有：

字符描述

^	匹配輸入字符串開始的位置。如果設(shè)置了 RegExp 對(duì)象的 Multiline 屬性，^ 還會(huì)與 \n 或 \r 之后的位置匹配。
$	匹配輸入字符串結(jié)尾的位置。如果設(shè)置了 RegExp 對(duì)象的 Multiline 屬性，$ 還會(huì)與 \n 或 \r 之前的位置匹配。
\b	匹配一個(gè)字邊界，即字與空格間的位置。
\B	非字邊界匹配。

注意：不能將限定符與定位點(diǎn)一起使用。由于在緊靠換行或者字邊界的前面或后面不能有一個(gè)以上位置，因此不允許諸如 ^* 之類的表達(dá)式。

若要匹配一行文本開始處的文本，請(qǐng)?jiān)谡齽t表達(dá)式的開始使用 ^ 字符。不要將 ^ 的這種用法與中括號(hào)表達(dá)式內(nèi)的用法混淆。

若要匹配一行文本的結(jié)束處的文本，請(qǐng)?jiān)谡齽t表達(dá)式的結(jié)束處使用 $ 字符。

若要在搜索章節(jié)標(biāo)題時(shí)使用定位點(diǎn)，下面的正則表達(dá)式匹配一個(gè)章節(jié)標(biāo)題，該標(biāo)題只包含兩個(gè)尾隨數(shù)字，并且出現(xiàn)在行首：

/^Chapter [1-9][0-9]{0,1}/

真正的章節(jié)標(biāo)題不僅出現(xiàn)行的開始處，而且它還是該行中僅有的文本。它即出現(xiàn)在行首又出現(xiàn)在同一行的結(jié)尾。下面的表達(dá)式能確保指定的匹配只匹配章節(jié)而不匹配交叉引用。通過創(chuàng)建只匹配一行文本的開始和結(jié)尾的正則表達(dá)式，就可做到這一點(diǎn)。

/^Chapter [1-9][0-9]{0,1}$/

匹配字邊界稍有不同，但向正則表達(dá)式添加了很重要的能力。字邊界是單詞和空格之間的位置。非字邊界是任何其他位置。下面的表達(dá)式匹配單詞 Chapter 的開頭三個(gè)字符，因?yàn)檫@三個(gè)字符出現(xiàn)字邊界后面：

/\bCha/

\b 字符的位置是非常重要的。如果它位于要匹配的字符串的開始，它在單詞的開始處查找匹配項(xiàng)。如果它位于字符串的結(jié)尾，它在單詞的結(jié)尾處查找匹配項(xiàng)。例如，下面的表達(dá)式匹配單詞 Chapter 中的字符串 ter，因?yàn)樗霈F(xiàn)在字邊界的前面：

/ter\b/

下面的表達(dá)式匹配 Chapter 中的字符串 apt，但不匹配 aptitude 中的字符串 apt：

/\Bapt/

字符串 apt 出現(xiàn)在單詞 Chapter 中的非字邊界處，但出現(xiàn)在單詞 aptitude 中的字邊界處。對(duì)于 \B 非字邊界運(yùn)算符，位置并不重要，因?yàn)槠ヅ洳魂P(guān)心究竟是單詞的開頭還是結(jié)尾。

選擇

用圓括號(hào)將所有選擇項(xiàng)括起來，相鄰的選擇項(xiàng)之間用|分隔。但用圓括號(hào)會(huì)有一個(gè)副作用，是相關(guān)的匹配會(huì)被緩存，此時(shí)可用?:放在第一個(gè)選項(xiàng)前來消除這種副作用。

其中?:是非捕獲元之一，還有兩個(gè)非捕獲元是?=和?!，這兩個(gè)還有更多的含義，前者為正向預(yù)查，在任何開始匹配圓括號(hào)內(nèi)的正則表達(dá)式模式的位置來匹配搜索字符串，后者為負(fù)向預(yù)查，在任何開始不匹配該正則表達(dá)式模式的位置來匹配搜索字符串。

反向引用

對(duì)一個(gè)正則表達(dá)式模式或部分模式兩邊添加圓括號(hào)將導(dǎo)致相關(guān)匹配存儲(chǔ)到一個(gè)臨時(shí)緩沖區(qū)中，所捕獲的每個(gè)子匹配都按照在正則表達(dá)式模式中從左到右出現(xiàn)的順序存儲(chǔ)。緩沖區(qū)編號(hào)從 1 開始，最多可存儲(chǔ) 99 個(gè)捕獲的子表達(dá)式。每個(gè)緩沖區(qū)都可以使用 '\n' 訪問，其中 n 為一個(gè)標(biāo)識(shí)特定緩沖區(qū)的一位或兩位十進(jìn)制數(shù)。

可以使用非捕獲元字符 '?:'、'?=' 或 '?!' 來重寫捕獲，忽略對(duì)相關(guān)匹配的保存。

反向引用的最簡(jiǎn)單的、最有用的應(yīng)用之一，是提供查找文本中兩個(gè)相同的相鄰單詞的匹配項(xiàng)的能力。以下面的句子為例：

Is is the cost of of gasoline going up up?

上面的句子很顯然有多個(gè)重復(fù)的單詞。如果能設(shè)計(jì)一種方法定位該句子，而不必查找每個(gè)單詞的重復(fù)出現(xiàn)，那該有多好。下面的正則表達(dá)式使用單個(gè)子表達(dá)式來實(shí)現(xiàn)這一點(diǎn)：

/\b([a-z]+) \1\b/gi

捕獲的表達(dá)式，正如 [a-z]+ 指定的，包括一個(gè)或多個(gè)字母。正則表達(dá)式的第二部分是對(duì)以前捕獲的子匹配項(xiàng)的引用，即，單詞的第二個(gè)匹配項(xiàng)正好由括號(hào)表達(dá)式匹配。\1 指定第一個(gè)子匹配項(xiàng)。字邊界元字符確保只檢測(cè)整個(gè)單詞。否則，諸如"is issued"或"this is"之類的詞組將不能正確地被此表達(dá)式識(shí)別。

正則表達(dá)式后面的全局標(biāo)記 (g) 指示，將該表達(dá)式應(yīng)用到輸入字符串中能夠查找到的盡可能多的匹配。表達(dá)式的結(jié)尾處的不區(qū)分大小寫 (i) 標(biāo)記指定不區(qū)分大小寫。多行標(biāo)記指定換行符的兩邊可能出現(xiàn)潛在的匹配。

反向引用還可以將通用資源指示符 (URI) 分解為其組件。假定你想將下面的 URI 分解為協(xié)議（ftp、http 等等）、域地址和頁/路徑：

http://www.w3cschool.cn:80/html/html-tutorial.html

下面的正則表達(dá)式提供該功能：

/(\w+):\/\/([^/:]+)(:\d*)?([^# ]*)/

第一個(gè)括號(hào)子表達(dá)式捕獲 Web 地址的協(xié)議部分。該子表達(dá)式匹配在冒號(hào)和兩個(gè)正斜杠前面的任何單詞。第二個(gè)括號(hào)子表達(dá)式捕獲地址的域地址部分。子表達(dá)式匹配 / 或 : 之外的一個(gè)或多個(gè)字符。第三個(gè)括號(hào)子表達(dá)式捕獲端口號(hào)（如果指定了的話）。該子表達(dá)式匹配冒號(hào)后面的零個(gè)或多個(gè)數(shù)字。只能重復(fù)一次該子表達(dá)式。最后，第四個(gè)括號(hào)子表達(dá)式捕獲 Web 地址指定的路徑和/或頁信息。該子表達(dá)式能匹配不包括 # 或空格字符的任何字符序列。

將正則表達(dá)式應(yīng)用到上面的 URI，各子匹配項(xiàng)包含下面的內(nèi)容：

• 第一個(gè)括號(hào)子表達(dá)式包含"http"
• 第二個(gè)括號(hào)子表達(dá)式包含"www.w3cschool.cn"
• 第三個(gè)括號(hào)子表達(dá)式包含":80"
• 第四個(gè)括號(hào)子表達(dá)式包含"/html/html-tutorial.html"

寫在最后

博主會(huì)在后續(xù)博文中更新正則表達(dá)式相關(guān)知識(shí)，喜歡的請(qǐng)一鍵三連吧。

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的万物之始正则表达式全解析三部曲（上篇）-正则表达式基础知识及语法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。