很早之前，學(xué)習(xí)Python?web編程的時(shí)候，就涉及一個(gè)Python的urllib。可以用urllib.urlopen(“url”)。read()可以輕松讀取頁面上面的靜態(tài)信息。但是，隨著時(shí)代的發(fā)展，也來越多的網(wǎng)頁中更多的使用javascript、jQuery、PHP等語言動(dòng)態(tài)生成頁面信息。因此，用urllib再去抓取頁面HTML就不足以達(dá)到我們想要的效果。

解決思路：

有一個(gè)思路最為簡單的思路可以動(dòng)態(tài)解析頁面信息。urllib不可以解析動(dòng)態(tài)信息，但是瀏覽器可以。在瀏覽器上展現(xiàn)處理的信息其實(shí)是處理好的HTML文檔。這為我們抓取動(dòng)態(tài)頁面信息提供了很好的思路。在Python中有一個(gè)很有名的圖形庫——PyQt。PyQt雖然是圖形庫，但是他里面 QtWebkit。這個(gè)很實(shí)用。谷歌的Chrome和蘋果的Safari都是基于WebKit內(nèi)核開發(fā)的，所以我們可以通過PyQt中得QtWebKit 把頁面中的信息讀取加載到HTML文檔中，再解析HTML文檔，從HTML文檔中提取我們想用得信息。

作者本人實(shí)用Mac OS X。應(yīng)該在Windows和Linux平臺(tái)也可以采用相同的辦法。

1、Qt4 library

Library，而不是Creator。Library在Mac的默認(rèn)安裝路徑下，應(yīng)該是/home/username/Developor/，不要改變Qt4的默認(rèn)安裝路徑。否則可能安裝失敗。

官方網(wǎng)址：http://qt-project.org/downloads

2、SIP、PyQt4

這兩個(gè)軟件可以在在PyQt的官網(wǎng)找到。下載的是它的源碼。Mac和Linux需要自己編譯。

下載地址是：http://www.riverbankcomputing.co.uk/software/pyqt/download

在終端切換到文件解壓后的目錄中。

在終端中輸入

python configure.py

make

sudo make install

進(jìn)行安裝編譯。

SIP和PyQt4兩個(gè)安裝方法相同。但是PyQt4依賴SIP。所以先安裝SIP再安裝PyQt4

1、2兩步完成之后，Python的PyQt4的模塊就安裝好了。在Python shell中輸入import PyQt4看看能不能找到PyQt4的模塊。

3、Spynner

spynner是一個(gè)QtWebKit的客戶端，它可以模擬瀏覽器，完成加載頁面、引發(fā)事件、填寫表單等操作。

這個(gè)模塊可以在Python的官網(wǎng)找到。

下載地址：?https://pypi.python.org/pypi/spynner/2.5

解壓后，cd到安裝目錄，然后輸入sudo python configure.py install安裝該模塊。

這樣Spynner模塊就安裝完成了，在python shell中試試import spynner看看該模塊有沒有安裝完成。

回到頂部

Spynner的簡單使用

Spynner的功能十分強(qiáng)大，但是由于本人能力有限，就介紹一下如何顯示網(wǎng)頁的源碼吧。

#! /usr/bin/python

#-*-coding: utf-8 -*-

import spynner

browser = spynner.Browser()

#創(chuàng)建一個(gè)瀏覽器對(duì)象

browser.hide()

#打開瀏覽器，并隱藏。

browser.load(“http://www.baidu.com”)

#browser 類中有一個(gè)類方法load，可以用webkit加載你想加載的頁面信息。

#load(是你想要加載的網(wǎng)址的字符串形式)

print browser.html.encode(“utf-8”)

#browser 類中有一個(gè)成員是html，是頁面進(jìn)過處理后的源碼的字符串。

#將其轉(zhuǎn)碼為UTF-8編碼

open(“Test.html”, 'w+‘)。write(browser.html.encode(“utf-8”))

#你也可以將它寫到文件中，用瀏覽器打開。

browser.close()

#關(guān)閉該瀏覽器

通過這個(gè)程序，就可以比較容易的顯示webkit處理的頁面HTML源碼了。

回到頂部

spynner應(yīng)用

下面介紹一下spynner的簡單應(yīng)用，通過簡單的程序，可以獲取你在瀏覽器中看到的頁面的全部圖片。用HTMLParser、BeautifulSoup等都可以完成HTMLParser文檔的解析。而我選擇HTMParser。

#!/usr/bin/python

import spynner

import HTMLParser

import os

import urllib

class MyParser(HTMLParser.HTMLParser)：

def handle_starttag(self, tag, attrs)：

if tag == 'img':

url = dict(attrs)['src']

name = os.path.basename(dict(attrs)['src'])

if name.endswith('.jpg’) or name.endswith(‘.png’) or name.endswith(‘gif’)：

print “Download……”, name

urllib.urlretrieve(url, name)

if __name__ == “__main__”:

browser = spynner.Browser()

browser.show()

browser.load(“http://www.artist.cn/snakewu1994/StyleBasis_Four/en_album_607236.shtml”)

Parser = MyParser()

Parser.feed(browser.html)

print “Done”

browser.close()

通過這個(gè)程序，可以下載你在頁面上看到的全部圖片。簡單的幾行程序就完成了這個(gè)艱巨的任務(wù)。實(shí)現(xiàn)了圖片的批量處理。這真是Python語言的優(yōu)勢(shì)，再艱巨的任務(wù)交給第三方吧。

總結(jié)

以上是生活随笔為你收集整理的pythonmessage用法_请问Mac下如何用python读取iMessage信息？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。