?

本文主要實(shí)現(xiàn)一個(gè)簡單的爬蟲，目的是從一個(gè)百度貼吧頁面下載圖片。

1. 概述

本文主要實(shí)現(xiàn)一個(gè)簡單的爬蟲，目的是從一個(gè)百度貼吧頁面下載圖片。下載圖片的步驟如下：

獲取網(wǎng)頁html文本內(nèi)容；

分析html中圖片的html標(biāo)簽特征，用正則解析出所有的圖片url鏈接列表；

根據(jù)圖片的url鏈接列表將圖片下載到本地文件夾中。

2. urllib+re實(shí)現(xiàn)

#!/usr/bin/python # coding:utf-8 # 實(shí)現(xiàn)一個(gè)簡單的爬蟲，爬取百度貼吧圖片 import urllib import re # 根據(jù)url獲取網(wǎng)頁html內(nèi)容 def getHtmlContent(url): page = urllib.urlopen(url) return page.read() # 從html中解析出所有jpg圖片的url # 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...> def getJPGs(html): # 解析jpg圖片url的正則 jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)" width') # 注：這里最后加一個(gè)'width'是為了提高匹配精確度 # 解析出jpg的url列表 jpgs = re.findall(jpgReg,html) return jpgs # 用圖片url下載圖片并保存成制定文件名 def downloadJPG(imgUrl,fileName): urllib.urlretrieve(imgUrl,fileName) # 批量下載圖片，默認(rèn)保存到當(dāng)前目錄下 def batchDownloadJPGs(imgUrls,path = './'): # 用于給圖片命名 count = 1 for url in imgUrls: downloadJPG(url,''.join([path,'{0}.jpg'.format(count)])) count = count + 1 # 封裝：從百度貼吧網(wǎng)頁下載圖片 def download(url): html = getHtmlContent(url) jpgs = getJPGs(html) batchDownloadJPGs(jpgs) def main(): url = 'http://tieba.baidu.com/p/2256306796' download(url) if __name__ == '__main__': main()

運(yùn)行上面腳本，過幾秒種之后完成下載，可以在當(dāng)前目錄下看到圖片已經(jīng)下載好了：

3. requests + re實(shí)現(xiàn)

下面用requests庫實(shí)現(xiàn)下載，把getHtmlContent和downloadJPG函數(shù)都用requests重新實(shí)現(xiàn)。

#!/usr/bin/python # coding:utf-8 # 實(shí)現(xiàn)一個(gè)簡單的爬蟲，爬取百度貼吧圖片 import requests import re # 根據(jù)url獲取網(wǎng)頁html內(nèi)容 def getHtmlContent(url): page = requests.get(url) return page.text # 從html中解析出所有jpg圖片的url # 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...> def getJPGs(html): # 解析jpg圖片url的正則 jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)" width') # 注：這里最后加一個(gè)'width'是為了提高匹配精確度 # 解析出jpg的url列表 jpgs = re.findall(jpgReg,html) return jpgs # 用圖片url下載圖片并保存成制定文件名 def downloadJPG(imgUrl,fileName): # 可自動(dòng)關(guān)閉請(qǐng)求和響應(yīng)的模塊 from contextlib import closing with closing(requests.get(imgUrl,stream = True)) as resp: with open(fileName,'wb') as f: for chunk in resp.iter_content(128): f.write(chunk) # 批量下載圖片，默認(rèn)保存到當(dāng)前目錄下 def batchDownloadJPGs(imgUrls,path = './'): # 用于給圖片命名 count = 1 for url in imgUrls: downloadJPG(url,''.join([path,'{0}.jpg'.format(count)])) print '下載完成第{0}張圖片'.format(count) count = count + 1 # 封裝：從百度貼吧網(wǎng)頁下載圖片 def download(url): html = getHtmlContent(url) jpgs = getJPGs(html) batchDownloadJPGs(jpgs) def main(): url = 'http://tieba.baidu.com/p/2256306796' download(url) if __name__ == '__main__': main()

輸出：和前面一樣。

轉(zhuǎn)載于:https://www.cnblogs.com/Jeremy2001/p/10203326.html

總結(jié)

以上是生活随笔為你收集整理的$python爬虫系列（1）——一个简单的爬虫实例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。