爬蟲真是一件有意思的事兒啊，之前寫過爬蟲，用的是urllib2、BeautifulSoup實現簡單爬蟲，scrapy也有實現過。最近想更好的學習爬蟲，那么就盡可能的做記錄吧。這篇博客就我今天的一個學習過程寫寫吧。

一 正則表達式

正則表達式是一個很強大的工具了，眾多的語法規則，我在爬蟲中常用的有：

.

匹配任意字符（換行符除外）

*

匹配前一個字符0或無限次

?

匹配前一個字符0或1次

.*

貪心算法

.*?

非貪心算法

（.*?)

將匹配到的括號中的結果輸出

\d

匹配數字

re.S

使得.可以匹配換行符

常用的方法有：find_all()，search()，sub()

對以上語法方法做以練習，代碼見：https://github.com/Ben0825/Crawler/blob/master/re_test.py

二 urllib和urllib2

urllib和urllib2庫是學習Python爬蟲最基本的庫，利用該庫，我們可以得到網頁的內容，同時，可以結合正則對這些內容提取分析，得到真正想要的結果。

在此將urllib和urllib2結合正則爬取了糗事百科中的作者點贊數內容。

代碼見：https://github.com/Ben0825/Crawler/blob/master/qiubai_test.py

三 BeautifulSoup

BeautifulSoup是Python的一個庫，最主要的功能是從網頁抓取數據，官方介紹是這樣的：

Beautiful Soup 提供一些簡單的、python 式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱,通過解析文檔為用戶提供需要抓取的數據,因為簡單,所以不需要多少代碼就可以寫出一個完整的應用程序。

Beautiful Soup 自動將輸入文檔轉換為 Unicode 編碼,輸出文檔轉換為 utf-8 編碼。你不需要考慮編碼方式,除非文檔沒有指定一個編碼方式,這時,Beautiful Soup 就不能自動識別編碼方式了。然后,你僅僅需要說明一下原始編碼方式就可以了。

Beautiful Soup 已成為和 lxml、html6lib 一樣出色的 python 解釋器,為用戶靈活地提供不同的解析策略或強勁的速度。

首先：爬取百度百科Python詞條下相關的100個頁面，爬取的頁面值自己設定。

代碼詳見：https://github.com/Ben0825/Crawler/tree/master/python_baike_Spider

代碼運行：

鞏固篇，依據豆瓣中圖書的標簽得到一個書單，同樣使用BeautifulSoup。

代碼詳見：https://github.com/Ben0825/Crawler/blob/master/doubanTag.py

運行結果：

以上就是今天學習的一些內容，爬蟲真的很有意思啊，明天繼續學scrapy!

總結

以上是生活随笔為你收集整理的python 百度百科 爬虫_python简单爬虫的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。