之前的文章我們介紹了一下 Xpath 模塊，接下來我們就利用 Xpath 模塊爬取《糗事百科》的糗事。

之前我們已經利用 re 模塊爬取過一次糗百，我們只需要在其基礎上做一些修改就可以了，為了保證項目的完整性，我們重新再來一遍。

我們通過 Xpath Helper 的谷歌插件經過分析獲取到我們想要的內容為：?//div[@class="content"]/span[1]

然后我們就可以通過 text() 來獲取里面的內容了，?//div[@class="content"]/span[1]/text()

1 importurllib.request2 from lxml importetree3 importssl4

5 #取消代理驗證

6 ssl._create_default_https_context =ssl._create_unverified_context7

8 url = "https://www.qiushibaike.com/text/page/1/"

9 #User-Agent頭

10 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'

11 headers = {'User-Agent': user_agent}12 req = urllib.request.Request(url, headers=headers)13 response =urllib.request.urlopen(req)14 #獲取每頁的HTML源碼字符串

15 html = response.read().decode('utf-8')16 #解析html 為 HTML 文檔

17 selector =etree.HTML(html)18 content_list = selector.xpath('//div[@class="content"]/span[1]/text()')19 print(content_list)

輸出結果為：

從上面的輸出結果可以看出我們已經拿到了我們想要的數據，并且是一個列表類型，我們對列表進行操作扥別拿到糗事再存儲到本地即可。

1 for item initem_list:2 item = item.replace("\n", "")3 self.writePage(item)

上面的代碼中 item_list 即為我們上面所獲取到的 content_list 列表，在之前通過 re 模塊獲取數據時通過對列表的內容分析，我們發現有 ，查看全文，，
，\n 等多余內容，而通過 Xpath 只有 \n 為多余，我們通過 replace 方法將其轉為空，剩下的就是我們想要的內容了，接下來就是存儲到本地即可了。

上面就可以實現一個獲取 糗事百科 的糗事的簡單爬蟲，但是只能爬取單個頁面的內容，通過分析 url 我們發現?https://www.qiushibaike.com/text/page/1/?中最后的 1 即為頁碼，我們就可以根據這個頁碼逐一爬取更多頁面的內容，最終的代碼如下：

1 importurllib.request2 from lxml importetree3 importssl4

5 #取消代理驗證

6 ssl._create_default_https_context =ssl._create_unverified_context7

8

9 classSpider:10 def __init__(self):11 #初始化起始頁位置

12 self.page = 1

13 #爬取開關，如果為True繼續爬取

14 self.switch =True15

16 defloadPage(self):17 """

18 作用：打開頁面19 """

20 url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"

21 #User-Agent頭

22 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'

23 headers = {'User-Agent': user_agent}24 req = urllib.request.Request(url, headers=headers)25 response =urllib.request.urlopen(req)26 #獲取每頁的HTML源碼字符串

27 html = response.read().decode('utf-8')28 #解析html 為 HTML 文檔

29 selector =etree.HTML(html)30 content_list = selector.xpath('//div[@class="content"]/span[1]/text()')31 #調用dealPage() 處理糗事里的雜七雜八

32 self.dealPage(content_list)33

34 defdealPage(self, item_list):35 """

36 @brief 處理得到的糗事列表37 @param item_list 得到的糗事列表38 @param page 處理第幾頁39 """

40 for item initem_list:41 item = item.replace("\n", "")42 self.writePage(item)43

44 defwritePage(self, text):45 """

46 @brief 將數據追加寫進文件中47 @param text 文件內容48 """

49 myFile = open("./qiushi.txt", 'a') #追加形式打開文件

50 myFile.write(text + "\n\n")51 myFile.close()52

53 defstartWork(self):54 """

55 控制爬蟲運行56 """

57 #循環執行，直到 self.switch == False

58 whileself.switch:59 #用戶確定爬取的次數

60 self.loadPage()61 command = input("如果繼續爬取，請按回車(退出輸入quit)")62 if command == "quit":63 #如果停止爬取，則輸入 quit

64 self.switch =False65 #每次循環，page頁碼自增1

66 self.page += 1

67 print("爬取結束！")68

69

70 if __name__ == '__main__':71 #定義一個Spider對象

72 qiushiSpider =Spider()73 qiushiSpider.startWork()

最終會在本地添加一個 qiushi.txt 的文件，結果如下：

總結

以上是生活随笔為你收集整理的pythonwhile爬虫教程_Python 爬虫从入门到进阶之路（十一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。