現在我們用XPath來做一個簡單的爬蟲，我們嘗試爬取某個貼吧里的所有帖子且將該帖子里每個樓層發布的圖片下載到本地。

#-*- coding:utf-8 -*- #tieba_xpath.py"""作用：本案例使用XPath做一個簡單的爬蟲，我們嘗試爬去某個貼吧的所有帖子 """import os import urllib2 import urllib from lxml import etreeclass Spider:def __init__(self):self.tiebaName = raw_input("請輸入需要訪問的貼吧： ")self.beginPage = int(raw_input("請輸入起始頁： "))self.endPage = int(raw_input("請輸入終止頁： "))self.url = "http://tieba.baidu.com/f"self.ua_header = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"}#圖片編號self.userName = 1def tiebaSpider(self):for page in range(self.beginPage, self.endPage+1):pn = (page-1) * 50 #page numberword = {'pn':pn, 'kw':self.tiebaName}word = urllib.urlencode(word) #轉換成url編碼格式(字符串)myUrl = self.url + "?" + word#示例：http://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3 & pn=50#調用 頁面處理函數load_Page#并且獲取頁面所有帖子鏈接links = self.loadPage(myUrl) #urllib2_test3.py#獲取頁面內容def loadPage(self, url):req = urllib2.Request(url, headers = self.ua_header)html = urllib2.urlopen(req).read()#解析html為HTML DOM文檔selector = etree.HTML(html)#抓取當前頁面的所有帖子的url的后半部分，也就是帖子編號#http://tieba.baidu.com/p/4884069807里的"p/4884069807"links = selector.xpath('//div[@class="threadlist_lz clearfix"]/div/a[@rel="noreferrer"]/@href')#links類型為etreeElementString列表#遍歷列表，并且合并為一個帖子地址，調用圖片處理函數loadImagefor link in links:link = "http://tieba.baidu.com" + linkself.loadImage(link)#獲取圖片def loadImage(self, link):req = urllib2.Request(link, headers = self.ua_header)html = urllib2.urlopen(req).read()selector = etree.HTML(html)#獲取這個帖子里面所有圖片的src路徑imageLinks = selector.xpath('//img[@class="BDE_Image"]/@src')#依次取出圖片路徑，下載保存for imageLink in imageLinks:self.writeImages(imageLink)#保存頁面內容def writeImages(self, imageLink):"""將images里的二進制內容存入到userName文件中"""print(imageLink)print "正在存儲文件 %d..."%self.userName#1.打開一個文件，返回一個文件對象file = open('./images/'+str(self.userName) + '.png', 'wb')#獲取圖片里內容images = urllib2.urlopen(imageLink).read()#調用文件對象write()方法，將page_html的內容寫入到文件里 file.write(images)#最后關閉文件 file.close()#計數器自增1self.userName += 1#模擬__main__函數： if __name__ == '__main__':#首先創建爬蟲對象mySpider = Spider()#調用爬蟲對象的方法，開始工作mySpider.tiebaSpider()

?

?

?

轉載于:https://www.cnblogs.com/moying-wq/p/11569992.html

總結

以上是生活随笔為你收集整理的Python爬虫(十一)_案例：使用XPath的爬虫的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。