python爬虫：使用BeautifulSoup进行查找
生活随笔
收集整理的這篇文章主要介紹了
python爬虫：使用BeautifulSoup进行查找
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?網頁中有用的信息通常存在于網頁中的文本或各種不同標簽的屬性值，為了獲得這些網頁信息，有必要有一些查找方法可以獲取這些文本值或標簽屬性。而Beautiful Soup中內置了一些查找方式：
- ?????????? find()
- ???????????find_all()
- ???????????find_parent()
- ?????????? find_parents()
- ?????????? find_next_sibling()
- ?????????? find_next_siblings()
- ?????????? find_previous_sibling()
- ????????? ?find_previous_siblings()
- ?????????? find_previous()
- ?????????? find_all_previous()
- ???????????find_next()
- ?????????? find_all_next()
????????使用find()查找
以下這段HTML是例程要用到的參考網頁
[html] view plaincopy print?以上代碼是一個生態金字塔的簡單展示，為了找到其中的第一生產者，第一消費者或第二消費者，我們可以使用Beautiful Soup的查找方法。一般來說，為了找到BeautifulSoup對象內任何第一個標簽入口，我們可以使用find()方法。
找到第一生產者
可以明顯看到，生產者在第一個<ul>標簽里，因為生產者是在整個HTML文檔中第一個<ul>標簽中出現，所以可以簡單的使用find()方法找到第一生產者。下圖HTML樹代表了第一個生產者所在位置。
然后在ecologicalpyramid.py中寫入下面一段代碼，使用ecologicalpyramid.html文件創建BeautifulSoup對象。
[python] view plaincopy print?
?輸出得到：plants
find()說明
find()函數如下：
find(name,attrs,recursive,text,**wargs)
這些參數相當于過濾器一樣可以進行篩選處理。
不同的參數過濾可以應用到以下情況：
- 查找標簽，基于name參數
- 查找文本，基于text參數
- 基于正則表達式的查找
- 查找標簽的屬性，基于attrs參數
- 基于函數的查找
?通過標簽查找
我們可以傳遞任何標簽的名字來查找到它第一次出現的地方。找到后,find函數返回一個BeautifulSoup的標簽對象。
輸出的得到?<class 'bs4.element.Tag'>
通過文本查找
直接字符串的話，查找的是標簽。如果想要查找文本的話，則需要用到text參數。如下所示：
[html] view plaincopy print?
輸出：plants
通過正則表達式查找
有以下HTML代碼：
[html] view plaincopy print?
如果想找出第一個郵箱地址，但是由于第一個郵箱地址沒有標簽包含，所以通過其他方式很難找到。但是我們可以把郵箱地址進行正則表達式處理，這樣就容易多了。
參考如下代碼：
[python] view plaincopy print?
輸出：abc@example.com
通過標簽屬性進行查找
觀看例程HTML代碼，其中第一消費者在ul標簽里面且id屬性為priaryconsumers.
因為第一消費者出現的ul不是文檔中第一個ul，所以通過前面查找標簽的辦法就行不通了?，F在通過標簽屬性進行查找，參考代碼如下：
[python] view plaincopy print?
輸出：deer
通過標簽屬性查找的方式適用于大多數標簽屬性，包括id,style,title，但是有一組標簽屬性例外。
- Custom attrbutes
- Class
基于定制屬性的查找
比如我們HTML5標簽中的data-custom屬性，如果我們這樣 [python] view plaincopy print?
那么則會報錯。原因是在Python中變量不能呢含有-這個字符，而我們傳遞的data-custom有-這個字符。 解決的辦法是在attrs屬性用字典進行傳遞參數。 [python] view plaincopy print?
基于CSS類的查找
因為class是Python的保留關鍵字，所以無法使用class這個關鍵字。所以解決辦法類似上面。 [python] view plaincopy print?
還有另一個辦法。BeautifulSoup有一個特別的關鍵字參數class_。示例： 方法1： [python] view plaincopy print?
方法2： [python] view plaincopy print?
基于定義的函數進行查找
可以傳遞函數到find()來基于函數定義的條件進行查找。函數值必須返回true或者false。 例子： [python] view plaincopy print?輸出:fox
把方法進行組合后進行查找
可以用其中任何方法進行組合來進行查找，比如同時基于標簽名和id號。
使用find_all查找
find()用來查找第一個匹配結果出現的地方，而find_all()正如名字所示，將會找到所有匹配結果出現的地方。應用到find()中的不同過濾參數同理可以用到find_all()中，實際上，過濾參數可以用于任何查找函數，如find_parents()或和find_siblings()。查找所有三級消費者
[python] view plaincopy print?其all_tertiaryconsumers的類型是列表。 所以我們對其列表進行迭代，循環輸出三級消費者的名字。 [python] view plaincopy print?
輸出： lion tiger
理解用于find_all()的參數
相比find()，find_all()有個額外的參數limit，如下所示： find_all(name,attrs,recursive,text,limit,**kwargs)
limit參數可以限制我們想要得到結果的數目。參照前面的郵件地址例子，我們可以得到所有右鍵地址通過： [python] view plaincopy print?
輸出：[u'abc@example.com',u'xyz@example.com',u'foo@example.com']
當我們使用limit參數，效果如下： [python] view plaincopy print?
限制得到兩個結果，所以輸出為： [u'abc@example.com',u'xyz@example.com']
說白了，find()也就是當limit=1時的find_all()。
可以向find函數傳遞True或False參數，如果我們傳遞True給find_all()，則返回所有soup對象的標簽。對于find()來說，則返回第一個標簽。 舉例查找文本，傳遞True將會返回所有文本。 [python] view plaincopy print?
輸出： [u'\n', u'\n', u'\n', u'\n', u'\n', u'plants', u'\n', u'100000',?
u'\n', u'\n', u'\n', u'algae', u'\n', u'100000', u'\n', u'\n',?
u'\n', u'\n', u'\n', u'deer', u'\n', u'1000', u'\n', u'\n',?
u'\n', u'rabbit', u'\n', u'2000', u'\n', u'\n', u'\n',?
u'\n', u'\n', u'fox', u'\n', u'100', u'\n', u'\n', u'\n',?
u'bear', u'\n', u'100', u'\n', u'\n', u'\n', u'\n',?
u'\n', u'lion', u'\n', u'80', u'\n', u'\n', u'\n',?
u'tiger', u'\n', u'50', u'\n', u'\n', u'\n', u'\n',?
u'\n']?
同樣的，我們可以在傳遞text參數時傳遞一個字符串列表，那么find_all()會找到誒個在列表中定義過的字符串。 [python] view plaincopy print?
輸出： [python] view plaincopy print?
這個同樣適用于查找標簽，標簽屬性，定制屬性和CSS類。如： [python] view plaincopy print?
find()和find_all()都會查找一個對象所有后輩們，不過我們可以控制它通過recursive參數。如果recursive=False，那么超找只會找到該對象的最近后代。
通過標簽之間的關系進行查找
我們可以通過find()和find_all()來查找到想要內容。但有時候，我們需要查看的與之內容相關先前的標簽或者后面的標簽來獲取額外的信息。比如方法find_parents()和find_next_siblings()等等。一般的，在find()和find_all()方法后使用上述方法，因為find()和find_all()可以找到特殊的一個標簽，然后我們可以通過這個特殊的標簽找到其他的想要的與之有關系的標簽。查找父標簽
通過find_parents()或find_parent()。它們之間的不同就類似于find()和find_all()的區別。find_parents()返回全部的相匹配的父標簽，而find_paret()返回最近的一個父標簽。適用于find()的方法同樣也使用于這兩個方法。在前面的第一消費者例子中，我們可以找到離Primaryconsumer最近的ul父標簽。 [python] view plaincopy print?
一個簡單的找到一個標簽的父標簽的方法就是使用find_parent()卻不帶任何參數。 [python] view plaincopy print?
查找同胞
如果標簽在同一個等級的話，我們可以說這些標簽是同胞的關系，比如參照上面金字塔例子，所有ul標簽就是同胞的關系。
上圖ul標簽下的producers,primaryconsumers,secondaryconsumers,teriaryconsumers就是同胞關系。 再看下面這個圖：
div下的plants和algae不是同胞關系，但是plants和臨近的number是同胞關系。 Beautiful Soup自帶有查找同胞的方法。 比如find_next_siblings()和find_next_sibling()查找對象下面的同胞。舉例： [python] view plaincopy print?
將會輸出與之臨近的下面的所有同胞HTML代碼。
查找下一個
對每一個標簽來說，下一個元素可能會是定位字符串，標簽對象或者其他BeautifulSoup對象。我們定義下一個元素為與當前元素最靠近的元素。這個不同于同胞定義。我們有方法可以找到我們想要標簽的下一個其他元素對象。find_all_next()找到與當前元素靠近的所有對象。而find_next()找到離當前元素最接近的對象。比如，找到在第一個div標簽后的所有li標簽 [python] view plaincopy print?
輸出“： [<li class="producerlist">
<div class="name">plants</div>
<div class="number">100000</div>
</li>, <li class="producerlist">
<div class="name">algae</div>
<div class="number">100000</div>
</li>, <li class="primaryconsumerlist">
<div class="name">deer</div>
<div class="number">1000</div>
</li>, <li class="primaryconsumerlist">
<div class="name">rabbit</div>
<div class="number">2000</div>
</li>, <li class="secondaryconsumerlist">
<div class="name">fox</div>
<div class="number">100</div>
</li>, <li class="secondaryconsumerlist">
<div class="name">bear</div>
<div class="number">100</div>
</li>, <li class="tertiaryconsumerlist">
<div class="name">lion</div>
<div class="number">80</div>
</li>, <li class="tertiaryconsumerlist">
<div class="name">tiger</div>
<div class="number">50</div>
</li>]
查找上一個
與查找下一個相反的是查找前一個。同理用于find_all_previous()和find_all_previous()轉載于:https://www.cnblogs.com/yizhenfeng168/p/6972946.html
總結
以上是生活随笔為你收集整理的python爬虫：使用BeautifulSoup进行查找的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Microsoft Fluent Des
- 下一篇： redis内部数据结构深入浅出