本文轉載自微信公眾號[ 極客猴 ]，作者知乎主頁

此前錯誤標注來源導致侵權，在此表示歉意。

我們已經學習 urllib、re、BeautifulSoup 這三個庫的用法。但只是停留在理論層面上，還需實踐來檢驗學習成果。因此，本文主要講解如何利用我們剛才的幾個庫去實戰。

1 確定爬取目標

任何網站皆可爬取，就看你要不要爬取而已。本次選取的爬取目標是當當網，爬取內容是 以 Python 為關鍵字搜索出來的頁面中所有書籍的信息。具體如下圖所示：

本次爬取結果有三項：圖書的封面圖片

圖書的書名

圖書的鏈接頁面

最后把這三項內容保存到 csv 文件中。

2 爬取過程

總所周知，每個站點的頁面 DOM 樹是不一樣的。所以我們需要先對爬取頁面進行分析，再確定自己要獲取的內容，再定義程序爬取內容的規則。

2.1 確定 URL 地址

我們可以通過利用瀏覽器來確定URL 地址，為 urllib 發起請求提供入口地址。接下來，我們就一步步來確定請求地址。

搜索結果頁面為 1 時，URL 地址如下：

搜索結果頁面為 3 時，URL 地址如下：

索結果頁面為 21 時，即最后一頁，URL 地址如下：

從上面的圖片中，我們發現 URL 地址的差異就在于 page_index 的值，所以 URL 地址最終為 http://search.dangdang.com/?key=python&act=input&show=big&page_index=。而 page_index 的值，我們可以通過循環依次在地址后面添加。因此， urllib 請求代碼可以這樣寫：

2.2 確定爬取節點

有了 URL 地址，就能使用 urllib 獲取到頁面的 html 內容。到了這步，我們就需要找到爬取的節點的規則，以便于 BeautifulSoup 地解析。為了搞定這個問題，就要祭出大招 —— Chrome 瀏覽器的開發者功能(按下 F12 鍵就能啟動)。我們按下 F12 鍵盤，依次對每本書進行元素檢查(在頁面使用鼠標右鍵，點擊“檢查”即可)，具體結果如下：

從上圖可以得知解析規則：每本書的節點是一個 a 標簽，a 標簽具有 title，href，子標簽 img 的 src 三個屬性，這三者分別對應書名、書的鏈接頁面、書的封圖。看到這里也需你不會小激動，感嘆這不就是我們要感興趣的內容嗎？得到解析規則，編寫BeautifulSoup 解析代碼就有了思路，具體代碼如下：

運行結果如下：

這證明剛才制定規則是正確爬取我們所需的內容。

2.3 保存爬取信息

我寫爬蟲程序有個習慣，就是每次都會爬取內容持久化到文件中。這樣方便以后查看使用。如果爬取數據量比較大，我們可以用其做數據分析。我這里為了方便，就將數據保存到 csv 文件中。用 Python 將數據寫到文件中，我們經常中文亂碼問題所煩惱。如果單純使用 csv 庫，可能擺脫不了這煩惱。所以我們將 csv 和 codecs 結合一起使用。在寫數據到 csv 文件的時候，我們可以通過指定文件編碼。這樣中文亂碼問題就迎刃而解。具體代碼如下:

看到這里，你可能會問為什么不把編碼指定為 gb2312 呢，這樣用 ecxel 打開就不會亂碼了？原因是當書名全部為英文單詞時，使用 gb2312 編碼，writer.writerow()會出現編碼錯誤的問題。

如果你要用 excel 打開 PythonBook.csv文件, 你則需多執行下面幾步：打開 Excel

執行“數據”->“自文本”

選擇 CSV 文件，出現文本導入向導

選擇“分隔符號”，下一步

勾選“逗號”，去掉“ Tab 鍵”，下一步，完成

在“導入數據”對話框里，直接點確定

3 爬取結果

最后，我們將上面代碼整合起來即可。這里就不把代碼貼出來了，具體閱讀原文即可查看源代碼。我就把爬取結果截下圖：

4 寫在最后

這次實戰算是結束了，但是我們不能簡單地滿足，看下程序是否有優化的地方。我把該程序不足的地方寫出來。該程序是單線程，沒有使用多線程，執行效率不夠高。

沒有應用面向對象編程思想，程序的可擴展性不高。

沒有使用隨機 User-Agent 和 代理，容易被封 IP。

你想更深入了解學習Python知識體系，你可以看一下我們花費了一個多月整理了上百小時的幾百個知識點體系內容：

總結

以上是生活随笔為你收集整理的python爬虫爬当当网_爬虫实战一：爬取当当网所有 Python 书籍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。