什么是beautifulsoup:

是一個(gè)可以從HTML或XML文件中提取數(shù)據(jù)的Python庫(kù)。它能夠通過你喜歡的轉(zhuǎn)換器實(shí)現(xiàn)慣用的文檔導(dǎo)航，查找，修改文檔的方式。(官方)

beautifulsoup是一個(gè)解析器，可以特定的解析出內(nèi)容，省去了我們編寫正則表達(dá)式的麻煩。

這里我們用的是bs4：

1、導(dǎo)入模塊：

from bs4 import beautifulsoup

2、選擇解析器解析指定內(nèi)容：

soup=beautifulsoup(解析內(nèi)容,解析器)

常用解析器：html.parser,lxml,xml,html5lib

有時(shí)候需要安裝安裝解析器：比如pip3 install lxml

BeautifulSoup默認(rèn)支持Python的標(biāo)準(zhǔn)HTML解析庫(kù)，但是它也支持一些第三方的解析庫(kù)：

解析器之間的區(qū)別(此處摘自官方文檔)

Beautiful Soup為不同的解析器提供了相同的接口，但解析器本身時(shí)有區(qū)別的。同一篇文檔被不同的解析器解析后可能會(huì)生成不同結(jié)構(gòu)的樹型文檔。

區(qū)別最大的是HTML解析器和XML解析器，看下面片段被解析成HTML結(jié)構(gòu)：

BeautifulSoup("")

#

因?yàn)榭諛?biāo)簽 不符合HTML標(biāo)準(zhǔn)，所以解析器把它解析成

同樣的文檔使用XML解析如下(解析XML需要安裝lxml庫(kù))。注意，空標(biāo)簽依然被保留，并且文檔前添加了XML頭，而不是被包含在標(biāo)簽內(nèi)：

BeautifulSoup("", "xml")

# <?xml version="1.0" encoding="utf-8"?>

#

HTML解析器之間也有區(qū)別，如果被解析的HTML文檔是標(biāo)準(zhǔn)格式，那么解析器之間沒有任何差別，只是解析速度不同，結(jié)果都會(huì)返回正確的文檔樹。

但是如果被解析文檔不是標(biāo)準(zhǔn)格式，那么不同的解析器返回結(jié)果可能不同。下面例子中，使用lxml解析錯(cuò)誤格式的文檔，結(jié)果

標(biāo)簽被直接忽略掉了：

BeautifulSoup("

", "lxml")

#

使用html5lib庫(kù)解析相同文檔會(huì)得到不同的結(jié)果：

BeautifulSoup("

", "html5lib")

#

html5lib庫(kù)沒有忽略掉

標(biāo)簽,而是自動(dòng)補(bǔ)全了標(biāo)簽,還給文檔樹添加了標(biāo)簽.

使用pyhton內(nèi)置庫(kù)解析結(jié)果如下：

BeautifulSoup("

", "html.parser")

#

與lxml [7] 庫(kù)類似的，Python內(nèi)置庫(kù)忽略掉了

標(biāo)簽，與html5lib庫(kù)不同的是，標(biāo)準(zhǔn)庫(kù)沒有嘗試創(chuàng)建符合標(biāo)準(zhǔn)的文檔格式，或?qū)⑽臋n片段包含在標(biāo)簽內(nèi)，與lxml不同的是標(biāo)準(zhǔn)庫(kù)甚至連標(biāo)簽都沒有嘗試去添加。

因?yàn)槲臋n片段“

”是錯(cuò)誤格式，所以以上解析方式都能算作”正確”，html5lib庫(kù)使用的是HTML5的部分標(biāo)準(zhǔn)，所以最接近”正確”。不過所有解析器的結(jié)構(gòu)都能夠被認(rèn)為是”正常”的。

不同的解析器可能影響代碼執(zhí)行結(jié)果，如果在分發(fā)給別人的代碼中使用了 BeautifulSoup ，那么最好注明使用了哪種解析器，以減少不必要的麻煩。

3、操作

約定soup是beautifulsoup(解析內(nèi)容,解析器)返回的解析對(duì)象。

3.1 使用標(biāo)簽名查找

使用標(biāo)簽名來獲取結(jié)點(diǎn)：

soup.標(biāo)簽名

使用標(biāo)簽名來獲取結(jié)點(diǎn)標(biāo)簽名(這個(gè)重點(diǎn)是name，主要用于非標(biāo)簽名式篩選時(shí)，獲取結(jié)果的標(biāo)簽名)：

soup.標(biāo)簽.name

使用標(biāo)簽名來獲取結(jié)點(diǎn)屬性：

soup.標(biāo)簽.attrs(獲取全部屬性)

soup.標(biāo)簽.attrs[屬性名](獲取指定屬性)

soup.標(biāo)簽[屬性名](獲取指定屬性)

soup.標(biāo)簽.get(屬性名)

使用標(biāo)簽名來獲取結(jié)點(diǎn)的文本內(nèi)容：

soup.標(biāo)簽.text

soup.標(biāo)簽.string

soup.標(biāo)簽.get_text()

補(bǔ)充1：

上面的篩選方式可以使用嵌套：

print(soup.p.a)#p標(biāo)簽下的a標(biāo)簽

補(bǔ)充2：

以上的name,text,string,attrs等方法都可以使用在當(dāng)結(jié)果是一個(gè)bs4.element.Tag對(duì)象的時(shí)候：

from bs4 import BeautifulSoup

?

html = """

this is a title

123

456

advertisements

"""

?

soup = BeautifulSoup(html,'lxml')

?

print("獲取結(jié)點(diǎn)".center(50,'-'))

print(soup.head)#獲取head標(biāo)簽

print(soup.p)#返回第一個(gè)p標(biāo)簽

#獲取結(jié)點(diǎn)名

print("獲取結(jié)點(diǎn)名".center(50,'-'))

print(soup.head.name)

print(soup.find(id='i1').name)

#獲取文本內(nèi)容

print("獲取文本內(nèi)容".center(50,'-'))

print(soup.title.string)#返回title的內(nèi)容

print(soup.title.text)#返回title的內(nèi)容

print(soup.title.get_text())

#獲取屬性

print("-----獲取屬性-----")

print(soup.p.attrs)#以字典形式返回標(biāo)簽的內(nèi)容

print(soup.p.attrs['class'])#以列表形式返回標(biāo)簽的值

print(soup.p['class'])#以列表形式返回標(biāo)簽的值

print(soup.p.get('class'))

?

?

#############

t=soup.title

print(type(t))#

print(t.name)#title

print(t.text)

?

#嵌套選擇:

print(soup.head.title.string)獲取子結(jié)點(diǎn)(直接獲取也會(huì)獲取到'\n'，會(huì)認(rèn)為'\n'也是一個(gè)標(biāo)簽)：

soup.標(biāo)簽.contents(返回值是一個(gè)列表)

soup.標(biāo)簽.children(返回值是一個(gè)可迭代對(duì)象，獲取實(shí)際子結(jié)點(diǎn)需要迭代)

獲取子孫結(jié)點(diǎn)：

soup.標(biāo)簽.descendants(返回值也是一個(gè)可迭代對(duì)象,實(shí)際子結(jié)點(diǎn)需要迭代)

獲取父結(jié)點(diǎn)：

soup.標(biāo)簽.parent

獲取祖先結(jié)點(diǎn)[父結(jié)點(diǎn)，祖父結(jié)點(diǎn)，曾祖父結(jié)點(diǎn)…]:

soup.標(biāo)簽.parents

獲取兄弟結(jié)點(diǎn)：

soup.next_sibling(獲取后面的一個(gè)兄弟結(jié)點(diǎn))

soup.next_siblings(獲取后面所有的兄弟結(jié)點(diǎn))(返回值是一個(gè)可迭代對(duì)象)

soup.previous_sibling(獲取前一兄弟結(jié)點(diǎn))

soup.previous_siblings(獲取前面所有的兄弟結(jié)點(diǎn))(返回值是一個(gè)可迭代對(duì)象)

補(bǔ)充3：

與補(bǔ)充2一樣，上面的函數(shù)都可以使用在當(dāng)結(jié)果是一個(gè)bs4.element.Tag對(duì)象的時(shí)候。

from bs4 import BeautifulSoup

html = """

Title

123456

78910

advertisements

aspan

"""

soup = BeautifulSoup(html, 'lxml')

?

#獲取子結(jié)點(diǎn)

print("獲取子結(jié)點(diǎn)".center(50,'-'))

print(soup.p.contents)

print("\n")

c=soup.p.children#返回的是一個(gè)可迭代對(duì)象

for i,child in enumerate(c):

print(i,child)

?

print("獲取子孫結(jié)點(diǎn)".center(50,'-'))

print(soup.p.descendants)

c2=soup.p.descendants

for i,child in enumerate(c2):

print(i,child)

?

print("獲取父結(jié)點(diǎn)".center(50,'-'))

c3=soup.title.parent

print(c3)

?

print("獲取父，祖先結(jié)點(diǎn)".center(50,'-'))

c4=soup.title.parents

print(c4)

for i,child in enumerate(c4):

print(i,child)

?

print("獲取兄弟結(jié)點(diǎn)".center(50,'-'))

print(soup.p.next_sibling)

print(soup.p.previous_sibling)

for i,child in enumerate(soup.p.next_siblings):

print(i,child,end='\t')

for i,child in enumerate(soup.p.previous_siblings):

print(i,child,end='\t')

3.2 使用find\find_all方式

find( name , attrs , recursive , text , **kwargs )

根據(jù)參數(shù)來找出對(duì)應(yīng)的標(biāo)簽，但只返回第一個(gè)符合條件的結(jié)果。

find_all( name , attrs , recursive , text , **kwargs )

根據(jù)參數(shù)來找出對(duì)應(yīng)的標(biāo)簽，但只返回所有符合條件的結(jié)果。

篩選條件參數(shù)介紹：

name：為標(biāo)簽名,根據(jù)標(biāo)簽名來篩選標(biāo)簽

attrs：為屬性,，根據(jù)屬性鍵值對(duì)來篩選標(biāo)簽，賦值方式可以為:屬性名=值,attrs={屬性名:值}(但由于class是python關(guān)鍵字，需要使用class_)

text：為文本內(nèi)容，根據(jù)指定文本內(nèi)容來篩選出標(biāo)簽，單獨(dú)使用text作為篩選條件，只會(huì)返回text，所以一般與其他條件配合使用。

recursive：指定篩選是否遞歸，當(dāng)為False時(shí)，不會(huì)在子結(jié)點(diǎn)的后代結(jié)點(diǎn)中查找，只會(huì)查找子結(jié)點(diǎn)。

獲取到結(jié)點(diǎn)后的結(jié)果是一個(gè)bs4.element.Tag對(duì)象，所以對(duì)于獲取屬性、文本內(nèi)容、標(biāo)簽名等操作可以參考前面“使用標(biāo)簽篩選結(jié)果”時(shí)涉及的方法

from bs4 import BeautifulSoup

html = """

Title

123456

78910

advertisements

aspan

"""

soup = BeautifulSoup(html, 'lxml')

print("---------------------")

print(soup.find_all('a'),end='\n\n')

print(soup.find_all('a')[0])

print(soup.find_all(attrs={'id':'i1'}),end='\n\n')

print(soup.find_all(class_='news'),end='\n\n')

print(soup.find_all('a',text='123456'))#

print(soup.find_all(id='i2',recursive=False),end='\n\n')#

a=soup.find_all('a')

print(a[0].name)

print(a[0].text)

print(a[0].attrs)

3.3 使用select篩選(select使用CSS選擇規(guī)則)

soup.select(‘標(biāo)簽名'),代表根據(jù)標(biāo)簽來篩選出指定標(biāo)簽。

CSS中#xxx代表篩選id，soup.select(‘#xxx')代表根據(jù)id篩選出指定標(biāo)簽,返回值是一個(gè)列表。

CSS中.###代表篩選class，soup.select('.xxx')代表根據(jù)class篩選出指定標(biāo)簽,返回值是一個(gè)列表。

嵌套select: soup.select(“#xxx .xxxx”)，如(“#id2 .news”)就是id=”id2”標(biāo)簽下class=”news的標(biāo)簽，返回值是一個(gè)列表。

獲取到結(jié)點(diǎn)后的結(jié)果是一個(gè)bs4.element.Tag對(duì)象，所以對(duì)于獲取屬性、文本內(nèi)容、標(biāo)簽名等操作可以參考前面“使用標(biāo)簽篩選結(jié)果”時(shí)涉及的方法。

from bs4 import BeautifulSoup

html = """

Title

123456

78910

advertisements

aspan

"""

soup = BeautifulSoup(html, 'lxml')

sp1=soup.select('span')#返回結(jié)果是一個(gè)列表，列表的元素是bs4元素標(biāo)簽對(duì)象

print(soup.select("#i2"),end='\n\n')

print(soup.select(".news"),end='\n\n')

print(soup.select(".news #i2"),end='\n\n')

print(type(sp1),type(sp1[0]))

print(sp1[0].name)#列表里面的元素才是bs4元素標(biāo)簽對(duì)象

print(sp1[0].attrs)

print(sp1[0]['class'])

補(bǔ)充4：

對(duì)于代碼不齊全的情況下，可以使用soup.prettify()來自動(dòng)補(bǔ)全,一般情況下建議使用，以避免代碼不齊。

from bs4 import BeautifulSoup

html = """

Title

123456

78910

advertisements

aspan

"""

soup = BeautifulSoup(html, 'lxml')

c=soup.prettify()#上述html字符串中末尾缺少 和

print(c)

如果想要獲得更詳細(xì)的介紹，可以參考官方文檔，令人高興的是，有了比較簡(jiǎn)易的中文版：

文源網(wǎng)絡(luò)，僅供學(xué)習(xí)之用，如有侵權(quán)，聯(lián)系刪除。

我將優(yōu)質(zhì)的技術(shù)文章和經(jīng)驗(yàn)總結(jié)都匯集在了我的公眾號(hào)【Python圈子】里。

在學(xué)習(xí)Python的道路上肯定會(huì)遇見困難，別慌，我這里有一套學(xué)習(xí)資料，包含40+本電子書，600+個(gè)教學(xué)視頻，涉及Python基礎(chǔ)、爬蟲、框架、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等，不怕你學(xué)不會(huì)！還有學(xué)習(xí)交流群，一起學(xué)習(xí)進(jìn)步~

總結(jié)

以上是生活随笔為你收集整理的python bs4模块_python爬虫之Beautifulsoup模块用法详解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。