本文用一個簡單的例子說明如何用python進行爬蟲。

• python 2.7.5
• Ubuntu 14.04

所需的python庫

• urllib：用來抓取和解析網頁
• re：處理正則表達式

代碼塊

• 下面的例子是用python爬蟲獲取某網頁的圖片，并保存到本地

import urllib import re import osdef getHtml(url):page = urllib.urlopen(url)html = page.read()return htmldef getImg(html):reg = r'src="(.+?\.jpg)" pic_ext'imgre = re.compile(reg)imglist = re.findall(imgre, html)# save the pics to a new folder.os.mkdir('pics')local = os.getcwd() + '/pics/'x = 0for imgurl in imglist:urllib.urlretrieve(imgurl, local + '%s.jpg' % x)x += 1html = getHtml("http://tieba.baidu.com/p/2460150866")print getImg(html)

• 對正則表達式不熟悉的話可以學習一下相關知識
• 運行該程序后會在pics目錄下看到下載好的jpg圖片

源文件在這里

• python爬蟲的功能很強大，可以根據所需信息的不同對正則表達式進行修改
• 對爬取的數據可以依據數據挖掘的方式進行處理
• 源文件

總結

以上是生活随笔為你收集整理的python爬虫实例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。