為什么80%的碼農都做不了架構師？>>> ??

我們編寫爬蟲并不是要完全爬取目標網站的所有網頁的所有信息，我們通常只需要網頁中的一行或幾行信息，使用爬蟲從網頁中抽取我們需要的信息的過程叫做抓取。我們會使用Firebug的瀏覽器擴展，用于檢查網頁內容，使用正則表達式，Beautiful Soup Lxml進行網頁數據抽取。Lxml使用簡單，且運行速度快，下面我們會詳細介紹如何使用Lxml進行數據抽取。

Lxml首先會將不合法的html解析為統一格式，如下：

>>> import lxml >>> import lxml.html >>> broken_html = '<ul class=country><li>Area<li>Population</ul>' >>> fixed_html = lxml.html.tostring(tree, pretty_print=True) >>> print fixed_html <ul class="country"> <li>Area</li> <li>Population</li> </ul>

lxml正確解析了屬性缺失的引號，并添加了閉合標簽。

解析內容后，需要選擇方法進行屬性的選擇，我們這里使用css選擇器的方法，簡介且可以復用。

css選擇器：http://www.w3school.com.cn/cssref/css_selectors.asp

轉載于:https://my.oschina.net/clgo/blog/841542

總結

以上是生活随笔為你收集整理的python网络爬虫（三）数据抓取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。