在上個課時中，我們學會了如何用 Requests 來獲取網頁的源代碼，得到 HTML 代碼。但我們如何從 HTML 代碼中獲取真正想要的數據呢？

正則表達式就是一個有效的方法。

本課時中，我們將學習正則表達式的相關用法。正則表達式是處理字符串的強大工具，它有自己特定的語法結構。有了它，我們就能實現字符串的檢索、替換、匹配驗證。

當然，對于爬蟲來說，有了它，要從 HTML 里提取想要的信息就非常方便了。

實例引入
說了這么多，可能我們對正則表達式的概念還是比較模糊，下面就用幾個實例來看一下正則表達式的用法。

打開開源中國提供的正則表達式測試工具 http://tool.oschina.net/regex/，輸入待匹配的文本，然后選擇常用的正則表達式，就可以得出相應的匹配結果了。

例如，輸入下面這段待匹配的文本：

Hello, my phone number is 010-86432100 and email is cqc@cuiqingcai.com, and my website is https://cuiqingcai.com.

這段字符串中包含了一個電話號碼和一個電子郵件，接下來就嘗試用正則表達式提取出來，如圖所示。
在網頁右側選擇 “匹配 Email 地址”，就可以看到下方出現了文本中的 E-mail。如果選擇 “匹配網址 URL”，就可以看到下方出現了文本中的 URL。是不是非常神奇？

其實，這里使用了正則表達式的匹配功能，也就是用一定規則將特定的文本提取出來。

比方說，電子郵件是有其特定的組成格式的：一段字符串 + @ 符號 + 某個域名。而 URL的組成格式則是協議類型 + 冒號加雙斜線 + 域名和路徑。

可以用下面的正則表達式匹配 URL：

[a-zA-z]+://[^\s]*

用這個正則表達式去匹配一個字符串，如果這個字符串中包含類似 URL 的文本，那就會被提取出來。

這個看上去亂糟糟的正則表達式其實有特定的語法規則。比如，a-z 匹配任意的小寫字母，\s 匹配任意的空白字符，* 匹配前面任意多個字符。這一長串的正則表達式就是這么多匹配規則的組合。

寫好正則表達式后，就可以拿它去一個長字符串里匹配查找了。不論這個字符串里面有什么，只要符合我們寫的規則，統統可以找出來。對于網頁來說，如果想找出網頁源代碼里有多少 URL，用 URL 的正則表達式去匹配即可。

下表中列出了常用的匹配規則：

看完之后，你可能有點暈暈的吧，不用擔心，后面我們會詳細講解一些常見規則的用法。

其實正則表達式不是 Python 獨有的，它也可以用在其他編程語言中。但是 Python 的 re 庫提供了整個正則表達式的實現，利用這個庫，可以在 Python 中使用正則表達式。

在 Python 中寫正則表達式幾乎都用這個庫，下面就來了解它的一些常用方法。

match

首先介紹一個常用的匹配方法 —— match，向它傳入要匹配的字符串，以及正則表達式，就可以檢測這個正則表達式是否匹配字符串。

match 方法會嘗試從字符串的起始位置匹配正則表達式，如果匹配，就返回匹配成功的結果；如果不匹配，就返回 None。

示例如下：

import recontent = 'Hello 123 4567 World_This is a Regex Demo' print(len(content)) result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}', content) print(result) print(result.group()) print(result.span())

運行結果如下：

41 <_sre.SRE_Match object; span=(0, 25), match='Hello 123 4567 World_This'> Hello 123 4567 World_This (0, 25)

這里首先聲明了一個字符串，其中包含英文字母、空白字符、數字等。接下來，我們寫一個正則表達式：

^Hello\s\d\d\d\s\d{4}\s\w{10}

用它來匹配這個長字符串。開頭的 ^ 匹配字符串的開頭，也就是以 Hello 開頭； \s 匹配空白字符，用來匹配目標字符串的空格；\d 匹配數字，3 個 \d 匹配 123；再寫 1 個 \s 匹配空格；后面的 4567，其實依然能用 4 個 \d 來匹配，但是這么寫比較煩瑣，所以后面可以跟 {4} 代表匹配前面的規則 4 次，也就是匹配 4 個數字；后面再緊接 1 個空白字符，最后\w{10} 匹配 10 個字母及下劃線。

我們注意到，這里并沒有把目標字符串匹配完，不過依然可以進行匹配，只不過匹配結果短一點而已。

而在 match 方法中，第一個參數傳入正則表達式，第二個參數傳入要匹配的字符串。

打印輸出結果，可以看到結果是 SRE_Match 對象，這證明成功匹配。該對象有兩個方法：group 方法可以輸出匹配的內容，結果是 Hello 123 4567 World_This，這恰好是正則表達式規則所匹配的內容；span 方法可以輸出匹配的范圍，結果是 (0, 25)，這就是匹配到的結果字符串在原字符串中的位置范圍。

通過上面的例子，我們基本了解了如何在 Python 中使用正則表達式來匹配一段文字。

匹配目標

剛才我們用 match 方法得到了匹配到的字符串內容，但當我們想從字符串中提取一部分內容，該怎么辦呢？

就像最前面的實例一樣，要從一段文本中提取出郵件或電話號碼等內容。我們可以使用 () 括號將想提取的子字符串括起來。() 實際上標記了一個子表達式的開始和結束位置，被標記的每個子表達式會依次對應每一個分組，調用 group 方法傳入分組的索引即可獲取提取的結果。

示例如下：

import recontent = 'Hello 1234567 World_This is a Regex Demo' result = re.match('^Hello\s(\d+)\sWorld', content) print(result) print(result.group()) print(result.group(1)) print(result.span())

這里我們想把字符串中的 1234567 提取出來，此時可以將數字部分的正則表達式用 () 括起來，然后調用了 group(1) 獲取匹配結果。
運行結果如下：

<_sre.SRE_Match object; span=(0, 19), match='Hello 1234567 World'> Hello 1234567 World 1234567 (0, 19)

可以看到，我們成功得到了 1234567。這里用的是 group(1)，它與 group() 有所不同，后者會輸出完整的匹配結果，而前者會輸出第一個被 () 包圍的匹配結果。假如正則表達式后面還有 () 包括的內容，那么可以依次用 group(2)、group(3) 等來獲取。

通用匹配

剛才我們寫的正則表達比較復雜，出現空白字符我們就寫 \s 匹配，出現數字我們就用 \d 匹配，這樣的工作量非常大。

我們還可以用一個萬能匹配來減少這些工作，那就是 .。其中 . 可以匹配任意字符（除換行符）， 代表匹配前面的字符無限次，它們組合在一起就可以匹配任意字符了。有了它，我們就不用挨個字符的匹配了。

接著上面的例子，我們可以改寫一下正則表達式：

import recontent = 'Hello 123 4567 World_This is a Regex Demo' result = re.match('^Hello.*Demo$', content) print(result) print(result.group()) print(result.span())

這里我們將中間部分直接省略，全部用 .* 來代替，最后加一個結尾字符就好了。

運行結果如下：

<_sre.SRE_Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'> Hello 123 4567 World_This is a Regex Demo (0, 41)

可以看到，group 方法輸出了匹配的全部字符串，也就是說我們寫的正則表達式匹配到了目標字符串的全部內容；span 方法輸出 (0, 41)，這是整個字符串的長度。

因此，我們可以使用 .* 簡化正則表達式的書寫。

貪婪與非貪婪

使用上面的通用匹配 .* 時，有時候匹配到的并不是我們想要的結果。

看下面的例子：

import recontent = 'Hello 1234567 World_This is a Regex Demo' result = re.match('^He.*(\d+).*Demo$', content) print(result) print(result.group(1))

這里我們依然想獲取中間的數字，所以中間依然寫的是 (\d+)。由于數字兩側的內容比較雜亂，所以略寫成 .*。最后，組成 ^He.*(\d+).*Demo$，看樣子并沒有什么問題。

我們看下運行結果：

<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'> 7

奇怪的事情發生了，我們只得到了 7 這個數字，這是怎么回事呢？

這里就涉及一個貪婪匹配與非貪婪匹配的問題了。在貪婪匹配下，.* 會匹配盡可能多的字符。正則表達式中 .* 后面是 \d+，也就是至少一個數字，并沒有指定具體多少個數字，因此，.* 就盡可能匹配多的字符，這里就把 123456 匹配了，給 \d+ 留下一個可滿足條件的數字 7，最后得到的內容就只有數字 7 了。

這顯然會給我們帶來很大的不便。有時候，匹配結果會莫名其妙少了一部分內容。其實，這里只需要使用非貪婪匹配就好了。非貪婪匹配的寫法是 .*?，多了一個 ？，那么它可以達到怎樣的效果？

我們再用實例看一下：

import recontent = 'Hello 1234567 World_This is a Regex Demo' result = re.match('^He.*?(\d+).*Demo$', content) print(result) print(result.group(1))

這里我們只是將第一個.* 改成了 .*?，轉變為非貪婪匹配。

結果如下：

<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'> 1234567

此時就可以成功獲取 1234567 了。原因可想而知，貪婪匹配是盡可能匹配多的字符，非貪婪匹配就是盡可能匹配少的字符。當 .? 匹配到 Hello 后面的空白字符時，再往后的字符就是數字了，而 \d+ 恰好可以匹配，那么 .? 就不再進行匹配，交給 \d+ 去匹配后面的數字。這樣 .*? 匹配了盡可能少的字符，\d+ 的結果就是 1234567 了。

所以，在做匹配的時候，字符串中間盡量使用非貪婪匹配，也就是用 .? 來代替 .，以免出現匹配結果缺失的情況。

但需要注意的是，如果匹配的結果在字符串結尾，.*? 就有可能匹配不到任何內容了，因為它會匹配盡可能少的字符。例如：

import recontent = 'http://weibo.com/comment/kEraCN' result1 = re.match('http.*?comment/(.*?)', content) result2 = re.match('http.*?comment/(.*)', content) print('result1', result1.group(1)) print('result2', result2.group(1))

運行結果如下：

result1 result2 kEraCNimport re

可以觀察到，.? 沒有匹配到任何結果，而 . 則盡量匹配多的內容，成功得到了匹配結果。

修飾符

正則表達式可以包含一些可選標志修飾符來控制匹配的模式。修飾符被指定為一個可選的標志。

我們用實例來看一下：

import recontent = '''Hello 1234567 World_This is a Regex Demo ''' result = re.match('^He.*?(\d+).*?Demo$', content) print(result.group(1))

和上面的例子相仿，我們在字符串中加了換行符，正則表達式還是一樣的，用來匹配其中的數字。看一下運行結果：

AttributeError Traceback (most recent call last) <ipython-input-18-c7d232b39645> in <module>()5 '''6 result = re.match('^He.*?(\d+).*?Demo$', content) ----> 7 print(result.group(1))AttributeError: 'NoneType' object has no attribute 'group'

運行直接報錯，也就是說正則表達式沒有匹配到這個字符串，返回結果為 None，而我們又調用了 group 方法導致 AttributeError。

為什么加了一個換行符，就匹配不到了呢？

這是因為我們匹配的是除換行符之外的任意字符，當遇到換行符時，.*? 就不能匹配了，導致匹配失敗。

這里只需加一個修飾符 re.S，即可修正這個錯誤：

result = re.match('^He.*?(\d+).*?Demo$', content, re.S)

這個修飾符的作用是匹配包括換行符在內的所有字符。

此時運行結果如下：

1234567

這個 re.S 在網頁匹配中經常用到。因為 HTML 節點經常會有換行，加上它，就可以匹配節點與節點之間的換行了。

另外，還有一些修飾符，在必要的情況下也可以使用，如表所示：

修飾符描　　述

re.I	使匹配對大小寫不敏感
re.L	做本地化識別（locale-aware）匹配
re.M	多行匹配，影響 ^ 和 $
re.S	使匹配包括換行在內的所有字符
re.U	根據 Unicode 字符集解析字符。這個標志影響 \w、\W、\b 和 \B
re.X	該標志通過給予你更靈活的格式以便你將正則表達式寫得更易于理解

在網頁匹配中，較為常用的修飾符有 re.S 和 re.I。

轉義匹配

我們知道正則表達式定義了許多匹配模式，如匹配除換行符以外的任意字符，但如果目標字符串里面就包含 .，那該怎么辦呢？

這里就需要用到轉義匹配了，示例如下：

import recontent = '(百度) www.baidu.com' result = re.match('\(百度 \) www\.baidu\.com', content) print(result)

當遇到用于正則匹配模式的特殊字符時，在前面加反斜線轉義一下即可。例 . 就可以用\ . 來匹配。

運行結果如下：

<_sre.SRE_Match object; span=(0, 17), match='(百度) www.baidu.com'>

可以看到，這里成功匹配到了原字符串。

這些是寫正則表達式常用的幾個知識點，熟練掌握它們對后面寫正則表達式匹配非常有幫助。

search

前面提到過，match 方法是從字符串的開頭開始匹配的，一旦開頭不匹配，那么整個匹配就失敗了。

我們看下面的例子：

import recontent = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings' result = re.match('Hello.*?(\d+).*?Demo', content) print(result)

這里的字符串以 Extra 開頭，但是正則表達式以 Hello 開頭，整個正則表達式是字符串的一部分，但是這樣匹配是失敗的。

運行結果如下：

None

因為 match 方法在使用時需要考慮到開頭的內容，這在做匹配時并不方便。它更適合用來檢測某個字符串是否符合某個正則表達式的規則。

這里有另外一個方法 search，它在匹配時會掃描整個字符串，然后返回第一個成功匹配的結果。也就是說，正則表達式可以是字符串的一部分，在匹配時，search 方法會依次掃描字符串，直到找到第一個符合規則的字符串，然后返回匹配內容，如果搜索完了還沒有找到，就返回 None。

我們把上面代碼中的 match 方法修改成 search，再看下運行結果：

<_sre.SRE_Match object; span=(13, 53), match='Hello 1234567 World_This is a Regex Demo'> 1234567

這時就得到了匹配結果。

因此，為了匹配方便，我們可以盡量使用 search 方法。

下面再用幾個實例來看看 search 方法的用法。

這里有一段待匹配的 HTML 文本，接下來我們寫幾個正則表達式實例來實現相應信息的提取：

html = '''<div id="songs-list"> <h2 class="title">經典老歌</h2> <p class="introduction"> 經典老歌列表 </p> <ul id="list" class="list-group"> <li data-view="2">一路上有你</li> <li data-view="7"> <a href="/2.mp3" singer="任賢齊">滄海一聲笑</a> </li> <li data-view="4" class="active"> <a href="/3.mp3" singer="齊秦">往事隨風</a> </li> <li data-view="6"><a href="/4.mp3" singer="beyond">光輝歲月</a></li> <li data-view="5"><a href="/5.mp3" singer="陳慧琳">記事本</a></li> <li data-view="5"> <a href="/6.mp3" singer="鄧麗君">但愿人長久</a> </li> </ul> </div>'''

可以觀察到，ul 節點里有許多 li 節點，其中 li 節點中有的包含 a 節點，有的不包含 a 節點，a 節點還有一些相應的屬性 —— 超鏈接和歌手名。

首先，我們嘗試提取 class為 active 的 li 節點內部超鏈接包含的歌手名和歌名，此時需要提取第三個 li 節點下 a 節點的 singer 屬性和文本。

此時，正則表達式可以用 li 開頭，然后尋找一個標志符 active，中間的部分可以用 .*? 來匹配。

接下來，要提取 singer 這個屬性值，所以還需要寫入 singer="(.*?)"，這里需要提取的部分用小括號括起來，以便用 group 方法提取出來，它的兩側邊界是雙引號。

然后還需要匹配 a 節點的文本，其中它的左邊界是 >，右邊界是 。目標內容依然用 (.*?) 來匹配，所以最后的正則表達式就變成了：

<li.*?active.*?singer="(.*?)">(.*?)</a>

然后再調用 search 方法，它會搜索整個 HTML 文本，找到符合正則表達式的第一個內容返回。

另外，由于代碼有換行，所以這里第三個參數需要傳入 re.S。整個匹配代碼如下：

result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>', html, re.S) if result: print(result.group(1), result.group(2))

由于需要獲取的歌手和歌名都已經用小括號包圍，所以可以用 group 方法獲取。

運行結果如下：

齊秦 往事隨風

可以看到，這正是 class 為 active 的 li 節點內部的超鏈接包含的歌手名和歌名。

如果正則表達式不加 active（也就是匹配不帶 class 為 active 的節點內容），那會怎樣呢？我們將正則表達式中的 active 去掉。

代碼改寫如下：

result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S) if result: print(result.group(1), result.group(2))

由于 search 方法會返回第一個符合條件的匹配目標，這里結果就變了：

任賢齊 滄海一聲笑

把 active 標簽去掉后，從字符串開頭開始搜索，此時符合條件的節點就變成了第二個 li 節點，后面的不再匹配，所以運行結果變成第二個 li 節點中的內容。

注意，在上面的兩次匹配中，search 方法的第三個參數都加了 re.S，這使得 .*? 可以匹配換行，所以含有換行的 li 節點被匹配到了。如果我們將其去掉，結果會是什么？

代碼如下：

result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html) if result: print(result.group(1), result.group(2))

運行結果如下：

beyond 光輝歲月

可以看到，結果變成了第四個 li 節點的內容。這是因為第二個和第三個 li 節點都包含了換行符，去掉 re.S 之后，.*? 已經不能匹配換行符，所以正則表達式不會匹配到第二個和第三個 li 節點，而第四個 li 節點中不包含換行符，所以成功匹配。

由于絕大部分的 HTML 文本都包含了換行符，所以盡量都需要加上 re.S 修飾符，以免出現匹配不到的問題。

findall

前面我們介紹了 search 方法的用法，它可以返回匹配正則表達式的第一個內容，但是如果想要獲取匹配正則表達式的所有內容，那該怎么辦呢？這時就要借助 findall 方法了。

該方法會搜索整個字符串，然后返回匹配正則表達式的所有內容。

還是上面的 HTML 文本，如果想獲取所有 a 節點的超鏈接、歌手和歌名，就可以將 search 方法換成 findall 方法。如果有返回結果的話，就是列表類型，所以需要遍歷一下來依次獲取每組內容。

代碼如下：

results = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>', html, re.S) print(results) print(type(results)) for result in results: print(result) print(result[0], result[1], result[2])

運行結果如下：

[('/2.mp3', ' 任賢齊 ', ' 滄海一聲笑 '), ('/3.mp3', ' 齊秦 ', ' 往事隨風 '), ('/4.mp3', 'beyond', ' 光輝歲月 '), ('/5.mp3', ' 陳慧琳 ', ' 記事本 '), ('/6.mp3', ' 鄧麗君 ', ' 但愿人長久 ')] <class 'list'> ('/2.mp3', ' 任賢齊 ', ' 滄海一聲笑 ') /2.mp3 任賢齊 滄海一聲笑 ('/3.mp3', ' 齊秦 ', ' 往事隨風 ') /3.mp3 齊秦 往事隨風 ('/4.mp3', 'beyond', ' 光輝歲月 ') /4.mp3 beyond 光輝歲月 ('/5.mp3', ' 陳慧琳 ', ' 記事本 ') /5.mp3 陳慧琳 記事本 ('/6.mp3', ' 鄧麗君 ', ' 但愿人長久 ') /6.mp3 鄧麗君 但愿人長久

可以看到，返回的列表中的每個元素都是元組類型，我們用對應的索引依次取出即可。

如果只是獲取第一個內容，可以用 search 方法。當需要提取多個內容時，可以用 findall 方法。

sub

除了使用正則表達式提取信息外，有時候還需要借助它來修改文本。比如，想要把一串文本中的所有數字都去掉，如果只用字符串的 replace 方法，那就太煩瑣了，這時可以借助 sub 方法。

示例如下：

import recontent = '54aK54yr5oiR54ix5L2g' content = re.sub('\d+', '', content) print(content)

運行結果如下：

aKyroiRixLg

這里只需要給第一個參數傳入 \d+ 來匹配所有的數字，第二個參數替換成的字符串（如果去掉該參數的話，可以賦值為空），第三個參數是原字符串。

在上面的 HTML 文本中，如果想獲取所有 li 節點的歌名，直接用正則表達式來提取可能比較煩瑣。比如，可以寫成這樣子：

results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S) for result in results:print(result[1])

運行結果如下：

一路上有你 滄海一聲笑 往事隨風 光輝歲月 記事本 但愿人長久

此時借助 sub 方法就比較簡單了。可以先用 sub 方法將 a 節點去掉，只留下文本，然后再利用 findall 提取就好了：

html = re.sub('<a.*?>|</a>', '', html) print(html) results = re.findall('<li.*?>(.*?)</li>', html, re.S) for result in results:print(result.strip())

運行結果如下：

<div id="songs-list"><h2 class="title"> 經典老歌 </h2><p class="introduction">經典老歌列表</p><ul id="list" class="list-group"><li data-view="2"> 一路上有你 </li><li data-view="7">滄海一聲笑</li><li data-view="4" class="active">往事隨風</li><li data-view="6"> 光輝歲月 </li><li data-view="5"> 記事本 </li><li data-view="5">但愿人長久</li></ul> </div> 一路上有你 滄海一聲笑 往事隨風 光輝歲月 記事本 但愿人長久

可以看到，a 節點經過 sub 方法處理后就沒有了，隨后我們通過 findall 方法直接提取即可。

通過以上例子，你會發現，在適當的時候，借助 sub 方法可以起到事半功倍的效果。

compile

前面所講的方法都是用來處理字符串的方法，最后再介紹一下 compile 方法，這個方法可以將正則字符串編譯成正則表達式對象，以便在后面的匹配中復用。

示例代碼如下：

import recontent1 = '2019-12-15 12:00' content2 = '2019-12-17 12:55' content3 = '2019-12-22 13:21' pattern = re.compile('\d{2}:\d{2}') result1 = re.sub(pattern, '', content1) result2 = re.sub(pattern, '', content2) result3 = re.sub(pattern, '', content3) print(result1, result2, result3)

這里有 3 個日期，我們想分別將 3 個日期中的時間去掉，這時可以借助 sub 方法。該方法的第一個參數是正則表達式，但是我們沒有必要重復寫 3 個同樣的正則表達式。此時可以借助 compile 方法將正則表達式編譯成一個正則表達式對象，以便復用。

運行結果如下：

2019-12-15 2019-12-17 2019-12-22

另外，compile 還可以傳入修飾符，例如 re.S 等修飾符，這樣在 search、findall 等方法中就不需要額外傳了。所以，compile 方法可以說是給正則表達式做了一層封裝，以便我們更好的復用。

到此，正則表達式的基本用法就介紹完了。后面我會通過具體的實例來講解正則表達式的用法。

總結

以上是生活随笔為你收集整理的第08讲：解析无所不能的正则表达式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。