汪海個人博客：http://blog.callmewhy.com/

Python爬蟲專欄，汪海專欄

• Python爬蟲入門教程
• 簡單的介紹如何使用Python的相關模塊如urllib2來實現網絡爬蟲的基礎教程。
• • 汪海帶你做游戲--Unity3D的開發與應用
  • 簡單的介紹Unity3D開發過程中會遇到的常見問題。主要涉及內容有：場景建模，人物設置，腳本講解，關聯演示，重力感應，等等內容。
  
  

（一）：抓取網頁的含義和URL基本構成

一、網絡爬蟲的定義

網絡爬蟲，即Web Spider，是一個很形象的名字。

把互聯網比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。
網絡蜘蛛是通過網頁的鏈接地址來尋找網頁的。

從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，

然后通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。

如果把整個互聯網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。

這樣看來，網絡爬蟲就是一個爬行程序，一個抓取網頁的程序。

網絡爬蟲的基本操作是抓取網頁。

那么如何才能隨心所欲地獲得自己想要的頁面？

我們先從URL開始。

二、瀏覽網頁的過程

抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的。

比如說你在瀏覽器的地址欄中輸入 ? ?www.baidu.com ? ?這個地址。

打開網頁的過程其實就是瀏覽器作為一個瀏覽的“客戶端”，向服務器端發送了 一次請求，把服務器端的文件“抓”到本地，再進行解釋、展現。

HTML是一種標記語言，用標簽標記內容并加以解析和區分。

瀏覽器的功能是將獲取到的HTML代碼進行解析，然后將原始的代碼轉變成我們直接看到的網站頁面。

三、URI和URL的概念和舉例

簡單的來講，URL就是在瀏覽器端輸入的 ? ?http://www.baidu.com ? ?這個字符串。

在理解URL之前，首先要理解URI的概念。

什么是URI？

Web上每種可用的資源，如 HTML文檔、圖像、視頻片段、程序等都由一個通用資源標志符(Universal Resource Identifier， URI)進行定位。?

URI通常由三部分組成：

①訪問資源的命名機制；

②存放資源的主機名；

③資源自身 的名稱，由路徑表示。

如下面的URI：
http://www.why.com.cn/myhtml/html1223/

我們可以這樣解釋它：

①這是一個可以通過HTTP協議訪問的資源，

②位于主機 www.webmonkey.com.cn上，

③通過路徑“/html/html40”訪問。?

四、URL的理解和舉例

URL是URI的一個子集。它是Uniform Resource Locator的縮寫，譯為“統一資源定位 符”。

通俗地說，URL是Internet上描述信息資源的字符串，主要用在各種WWW客戶程序和服務器程序上。

采用URL可以用一種統一的格式來描述各種信息資源，包括文件、服務器的地址和目錄等。

URL的一般格式為(帶方括號[]的為可選項)：

protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三部分組成：?

①第一部分是協議(或稱為服務方式)。

②第二部分是存有該資源的主機IP地址(有時也包括端口號)。

③第三部分是主機資源的具體地址，如目錄和文件名等。

第一部分和第二部分用“://”符號隔開，

第二部分和第三部分用“/”符號隔開。

第一部分和第二部分是不可缺少的，第三部分有時可以省略。?

五、URL和URI簡單比較

URI屬于URL更低層次的抽象，一種字符串文本標準。

換句話說，URI屬于父類，而URL屬于URI的子類。URL是URI的一個子集。

URI的定義是：統一資源標識符；

URL的定義是：統一資源定位符。

二者的區別在于，URI表示請求服務器的路徑，定義這么一個資源。

而URL同時說明要如何訪問這個資源（http://）。

下面來看看兩個URL的小例子。

1.HTTP協議的URL示例：
使用超級文本傳輸協議HTTP，提供超級文本信息服務的資源。?

例：http://www.peopledaily.com.cn/channel/welcome.htm?

其計算機域名為www.peopledaily.com.cn。

超級文本文件(文件類型為.html)是在目錄 /channel下的welcome.htm。

這是中國人民日報的一臺計算機。?

例：http://www.rol.cn.net/talk/talk1.htm?

其計算機域名為www.rol.cn.net。

超級文本文件(文件類型為.html)是在目錄/talk下的talk1.htm。

這是瑞得聊天室的地址，可由此進入瑞得聊天室的第1室。

2．文件的URL
用URL表示文件時，服務器方式用file表示，后面要有主機IP地址、文件的存取路 徑(即目錄)和文件名等信息。

有時可以省略目錄和文件名，但“/”符號不能省略。?

例：file://ftp.yoyodyne.com/pub/files/foobar.txt?

上面這個URL代表存放在主機ftp.yoyodyne.com上的pub/files/目錄下的一個文件，文件名是foobar.txt。

例：file://ftp.yoyodyne.com/pub?

代表主機ftp.yoyodyne.com上的目錄/pub。?

例：file://ftp.yoyodyne.com/?

代表主機ftp.yoyodyne.com的根目錄。?

爬蟲最主要的處理對象就是URL，它根據URL地址取得所需要的文件內容，然后對它 進行進一步的處理。

因此，準確地理解URL對理解網絡爬蟲至關重要。

（二）：利用urllib2通過指定的URL抓取網頁內容

版本號：Python2.7.5，Python3改動較大，各位另尋教程。

所謂網頁抓取，就是把URL地址中指定的網絡資源從網絡流中讀取出來，保存到本地。?
類似于使用程序模擬IE瀏覽器的功能，把URL作為HTTP請求的內容發送到服務器端， 然后讀取服務器端的響應資源。

在Python中，我們使用urllib2這個組件來抓取網頁。
urllib2是Python的一個獲取URLs(Uniform Resource Locators)的組件。

它以urlopen函數的形式提供了一個非常簡單的接口。

最簡單的urllib2的應用代碼只需要四行。

我們新建一個文件urllib2_test01.py來感受一下urllib2的作用：

[python]?view plaincopy

import?urllib2??

response?=?urllib2.urlopen('http://www.baidu.com/')??

html?=?response.read()??

print?html??

按下F5可以看到運行的結果：

我們可以打開百度主頁，右擊，選擇查看源代碼（火狐OR谷歌瀏覽器均可），會發現也是完全一樣的內容。

也就是說，上面這四行代碼將我們訪問百度時瀏覽器收到的代碼們全部打印了出來。

這就是一個最簡單的urllib2的例子。

除了"http:"，URL同樣可以使用"ftp:"，"file:"等等來替代。

HTTP是基于請求和應答機制的：

客戶端提出請求，服務端提供應答。

urllib2用一個Request對象來映射你提出的HTTP請求。

在它最簡單的使用形式中你將用你要請求的地址創建一個Request對象，

通過調用urlopen并傳入Request對象，將返回一個相關請求response對象，

這個應答對象如同一個文件對象，所以你可以在Response中調用.read()。

我們新建一個文件urllib2_test02.py來感受一下：

[python]?view plaincopy

import?urllib2????

req?=?urllib2.Request('http://www.baidu.com')????

response?=?urllib2.urlopen(req)????

the_page?=?response.read()????

print?the_page ?

可以看到輸出的內容和test01是一樣的。

urllib2使用相同的接口處理所有的URL頭。例如你可以像下面那樣創建一個ftp請求。

[python]?view plaincopy

req?=?urllib2.Request('ftp://example.com/')??

在HTTP請求時，允許你做額外的兩件事。

1.發送data表單數據

這個內容相信做過Web端的都不會陌生，

有時候你希望發送一些數據到URL(通常URL與CGI[通用網關接口]腳本，或其他WEB應用程序掛接)。

在HTTP中,這個經常使用熟知的POST請求發送。

這個通常在你提交一個HTML表單時由你的瀏覽器來做。

并不是所有的POSTs都來源于表單，你能夠使用POST提交任意的數據到你自己的程序。

一般的HTML表單，data需要編碼成標準形式。然后做為data參數傳到Request對象。

編碼工作使用urllib的函數而非urllib2。

我們新建一個文件urllib2_test03.py來感受一下：

[python]?view plaincopy

import?urllib????

import?urllib2????

??

url?=?'http://www.someserver.com/register.cgi'????

????

values?=?{'name'?:?'WHY',????

??????????'location'?:?'SDU',????

??????????'language'?:?'Python'?}????

??

data?=?urllib.urlencode(values)?#?編碼工作??

req?=?urllib2.Request(url,?data)??#?發送請求同時傳data表單??

response?=?urllib2.urlopen(req)??#接受反饋的信息??

the_page?=?response.read()??#讀取反饋的內容??

如果沒有傳送data參數，urllib2使用GET方式的請求。

GET和POST請求的不同之處是POST請求通常有"副作用"，

它們會由于某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。

Data同樣可以通過在Get請求的URL本身上面編碼來傳送。

[python]?view plaincopy

import?urllib2????

import?urllib??

??

data?=?{}??

??

data['name']?=?'WHY'????

data['location']?=?'SDU'????

data['language']?=?'Python'??

??

url_values?=?urllib.urlencode(data)????

print?url_values??

??

name=Somebody+Here&language=Python&location=Northampton????

url?=?'http://www.example.com/example.cgi'????

full_url?=?url?+?'?'?+?url_values??

??

data?=?urllib2.open(full_url) ? ?

這樣就實現了Data數據的Get傳送。

2.設置Headers到http請求

有一些站點不喜歡被程序（非人為訪問）訪問，或者發送不同版本的內容到不同的瀏覽器。

默認的urllib2把自己作為“Python-urllib/x.y”(x和y是Python主版本和次版本號,例如Python-urllib/2.7)，

這個身份可能會讓站點迷惑，或者干脆不工作。

瀏覽器確認自己身份是通過User-Agent頭，當你創建了一個請求對象，你可以給他一個包含頭數據的字典。

下面的例子發送跟上面一樣的內容，但把自身模擬成Internet Explorer。

（多謝大家的提醒，現在這個Demo已經不可用了，不過原理還是那樣的）。

[python]?view plaincopy

import?urllib????

import?urllib2????

??

url?=?'http://www.someserver.com/cgi-bin/register.cgi'??

??

user_agent?=?'Mozilla/4.0?(compatible;?MSIE?5.5;?Windows?NT)'????

values?=?{'name'?:?'WHY',????

??????????'location'?:?'SDU',????

??????????'language'?:?'Python'?}????

??

headers?=?{?'User-Agent'?:?user_agent?}????

data?=?urllib.urlencode(values)????

req?=?urllib2.Request(url,?data,?headers)????

response?=?urllib2.urlopen(req)????

the_page?=?response.read() ??

總結

以上是生活随笔為你收集整理的[Python]网络爬虫( 连载：大牛汪海 )的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。