[Python]网络爬虫( 连载：大牛汪海 )
汪海個(gè)人博客：http://blog.callmewhy.com/
Python爬蟲專欄，汪海專欄
- Python爬蟲入門教程
- 簡(jiǎn)單的介紹如何使用Python的相關(guān)模塊如urllib2來實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲的基礎(chǔ)教程。
- 汪海帶你做游戲--Unity3D的開發(fā)與應(yīng)用
- 簡(jiǎn)單的介紹Unity3D開發(fā)過程中會(huì)遇到的常見問題。主要涉及內(nèi)容有：場(chǎng)景建模，人物設(shè)置，腳本講解，關(guān)聯(lián)演示，重力感應(yīng)，等等內(nèi)容。
（一）：抓取網(wǎng)頁的含義和URL基本構(gòu)成
一、網(wǎng)絡(luò)爬蟲的定義
網(wǎng)絡(luò)爬蟲，即Web Spider，是一個(gè)很形象的名字。
把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。
網(wǎng)絡(luò)蜘蛛是通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁的。
從網(wǎng)站某一個(gè)頁面（通常是首頁）開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁中的其它鏈接地址，
然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁都抓取完為止。
如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。
這樣看來，網(wǎng)絡(luò)爬蟲就是一個(gè)爬行程序，一個(gè)抓取網(wǎng)頁的程序。
網(wǎng)絡(luò)爬蟲的基本操作是抓取網(wǎng)頁。
那么如何才能隨心所欲地獲得自己想要的頁面？
我們先從URL開始。
二、瀏覽網(wǎng)頁的過程
抓取網(wǎng)頁的過程其實(shí)和讀者平時(shí)使用IE瀏覽器瀏覽網(wǎng)頁的道理是一樣的。
比如說你在瀏覽器的地址欄中輸入 ? ?www.baidu.com ? ?這個(gè)地址。
打開網(wǎng)頁的過程其實(shí)就是瀏覽器作為一個(gè)瀏覽的“客戶端”，向服務(wù)器端發(fā)送了 一次請(qǐng)求，把服務(wù)器端的文件“抓”到本地，再進(jìn)行解釋、展現(xiàn)。
HTML是一種標(biāo)記語言，用標(biāo)簽標(biāo)記內(nèi)容并加以解析和區(qū)分。
瀏覽器的功能是將獲取到的HTML代碼進(jìn)行解析，然后將原始的代碼轉(zhuǎn)變成我們直接看到的網(wǎng)站頁面。三、URI和URL的概念和舉例
簡(jiǎn)單的來講，URL就是在瀏覽器端輸入的 ? ?http://www.baidu.com ? ?這個(gè)字符串。
在理解URL之前，首先要理解URI的概念。
什么是URI？
Web上每種可用的資源，如 HTML文檔、圖像、視頻片段、程序等都由一個(gè)通用資源標(biāo)志符(Universal Resource Identifier， URI)進(jìn)行定位。?
URI通常由三部分組成：
①訪問資源的命名機(jī)制；
②存放資源的主機(jī)名；
③資源自身 的名稱，由路徑表示。
如下面的URI：
http://www.why.com.cn/myhtml/html1223/
我們可以這樣解釋它：
①這是一個(gè)可以通過HTTP協(xié)議訪問的資源，
②位于主機(jī) www.webmonkey.com.cn上，
③通過路徑“/html/html40”訪問。?
四、URL的理解和舉例
URL是URI的一個(gè)子集。它是Uniform Resource Locator的縮寫，譯為“統(tǒng)一資源定位 符”。
通俗地說，URL是Internet上描述信息資源的字符串，主要用在各種WWW客戶程序和服務(wù)器程序上。
采用URL可以用一種統(tǒng)一的格式來描述各種信息資源，包括文件、服務(wù)器的地址和目錄等。
URL的一般格式為(帶方括號(hào)[]的為可選項(xiàng))：
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
URL的格式由三部分組成：?
①第一部分是協(xié)議(或稱為服務(wù)方式)。
②第二部分是存有該資源的主機(jī)IP地址(有時(shí)也包括端口號(hào))。
③第三部分是主機(jī)資源的具體地址，如目錄和文件名等。
第一部分和第二部分用“://”符號(hào)隔開，
第二部分和第三部分用“/”符號(hào)隔開。
第一部分和第二部分是不可缺少的，第三部分有時(shí)可以省略。?
五、URL和URI簡(jiǎn)單比較
URI屬于URL更低層次的抽象，一種字符串文本標(biāo)準(zhǔn)。
換句話說，URI屬于父類，而URL屬于URI的子類。URL是URI的一個(gè)子集。
URI的定義是：統(tǒng)一資源標(biāo)識(shí)符；
URL的定義是：統(tǒng)一資源定位符。
二者的區(qū)別在于，URI表示請(qǐng)求服務(wù)器的路徑，定義這么一個(gè)資源。
而URL同時(shí)說明要如何訪問這個(gè)資源（http://）。
下面來看看兩個(gè)URL的小例子。
1.HTTP協(xié)議的URL示例：
使用超級(jí)文本傳輸協(xié)議HTTP，提供超級(jí)文本信息服務(wù)的資源。?
例：http://www.peopledaily.com.cn/channel/welcome.htm?
其計(jì)算機(jī)域名為www.peopledaily.com.cn。
超級(jí)文本文件(文件類型為.html)是在目錄 /channel下的welcome.htm。
這是中國人民日?qǐng)?bào)的一臺(tái)計(jì)算機(jī)。?
例：http://www.rol.cn.net/talk/talk1.htm?
其計(jì)算機(jī)域名為www.rol.cn.net。
超級(jí)文本文件(文件類型為.html)是在目錄/talk下的talk1.htm。
這是瑞得聊天室的地址，可由此進(jìn)入瑞得聊天室的第1室。
2．文件的URL
用URL表示文件時(shí)，服務(wù)器方式用file表示，后面要有主機(jī)IP地址、文件的存取路 徑(即目錄)和文件名等信息。
有時(shí)可以省略目錄和文件名，但“/”符號(hào)不能省略。?
例：file://ftp.yoyodyne.com/pub/files/foobar.txt?
上面這個(gè)URL代表存放在主機(jī)ftp.yoyodyne.com上的pub/files/目錄下的一個(gè)文件，文件名是foobar.txt。
例：file://ftp.yoyodyne.com/pub?
代表主機(jī)ftp.yoyodyne.com上的目錄/pub。?
例：file://ftp.yoyodyne.com/?
代表主機(jī)ftp.yoyodyne.com的根目錄。?
爬蟲最主要的處理對(duì)象就是URL，它根據(jù)URL地址取得所需要的文件內(nèi)容，然后對(duì)它 進(jìn)行進(jìn)一步的處理。
因此，準(zhǔn)確地理解URL對(duì)理解網(wǎng)絡(luò)爬蟲至關(guān)重要。
版本號(hào)：Python2.7.5，Python3改動(dòng)較大，各位另尋教程。
所謂網(wǎng)頁抓取，就是把URL地址中指定的網(wǎng)絡(luò)資源從網(wǎng)絡(luò)流中讀取出來，保存到本地。?
類似于使用程序模擬IE瀏覽器的功能，把URL作為HTTP請(qǐng)求的內(nèi)容發(fā)送到服務(wù)器端， 然后讀取服務(wù)器端的響應(yīng)資源。
在Python中，我們使用urllib2這個(gè)組件來抓取網(wǎng)頁。
urllib2是Python的一個(gè)獲取URLs(Uniform Resource Locators)的組件。
它以u(píng)rlopen函數(shù)的形式提供了一個(gè)非常簡(jiǎn)單的接口。
最簡(jiǎn)單的urllib2的應(yīng)用代碼只需要四行。
我們新建一個(gè)文件urllib2_test01.py來感受一下urllib2的作用：
[python]?view plaincopy
按下F5可以看到運(yùn)行的結(jié)果：
我們可以打開百度主頁，右擊，選擇查看源代碼（火狐OR谷歌瀏覽器均可），會(huì)發(fā)現(xiàn)也是完全一樣的內(nèi)容。
也就是說，上面這四行代碼將我們?cè)L問百度時(shí)瀏覽器收到的代碼們?nèi)看蛴×顺鰜怼?/span>
這就是一個(gè)最簡(jiǎn)單的urllib2的例子。
除了"http:"，URL同樣可以使用"ftp:"，"file:"等等來替代。
HTTP是基于請(qǐng)求和應(yīng)答機(jī)制的：
客戶端提出請(qǐng)求，服務(wù)端提供應(yīng)答。
urllib2用一個(gè)Request對(duì)象來映射你提出的HTTP請(qǐng)求。
在它最簡(jiǎn)單的使用形式中你將用你要請(qǐng)求的地址創(chuàng)建一個(gè)Request對(duì)象，
通過調(diào)用urlopen并傳入Request對(duì)象，將返回一個(gè)相關(guān)請(qǐng)求response對(duì)象，
這個(gè)應(yīng)答對(duì)象如同一個(gè)文件對(duì)象，所以你可以在Response中調(diào)用.read()。
我們新建一個(gè)文件urllib2_test02.py來感受一下：
[python]?view plaincopy
urllib2使用相同的接口處理所有的URL頭。例如你可以像下面那樣創(chuàng)建一個(gè)ftp請(qǐng)求。
1.發(fā)送data表單數(shù)據(jù)
這個(gè)內(nèi)容相信做過Web端的都不會(huì)陌生，
有時(shí)候你希望發(fā)送一些數(shù)據(jù)到URL(通常URL與CGI[通用網(wǎng)關(guān)接口]腳本，或其他WEB應(yīng)用程序掛接)。
在HTTP中,這個(gè)經(jīng)常使用熟知的POST請(qǐng)求發(fā)送。
這個(gè)通常在你提交一個(gè)HTML表單時(shí)由你的瀏覽器來做。
并不是所有的POSTs都來源于表單，你能夠使用POST提交任意的數(shù)據(jù)到你自己的程序。
一般的HTML表單，data需要編碼成標(biāo)準(zhǔn)形式。然后做為data參數(shù)傳到Request對(duì)象。
編碼工作使用urllib的函數(shù)而非urllib2。
我們新建一個(gè)文件urllib2_test03.py來感受一下：
[python]?view plaincopy
GET和POST請(qǐng)求的不同之處是POST請(qǐng)求通常有"副作用"，
它們會(huì)由于某種途徑改變系統(tǒng)狀態(tài)(例如提交成堆垃圾到你的門口)。
Data同樣可以通過在Get請(qǐng)求的URL本身上面編碼來傳送。
[python]?view plaincopy
2.設(shè)置Headers到http請(qǐng)求
有一些站點(diǎn)不喜歡被程序（非人為訪問）訪問，或者發(fā)送不同版本的內(nèi)容到不同的瀏覽器。
默認(rèn)的urllib2把自己作為“Python-urllib/x.y”(x和y是Python主版本和次版本號(hào),例如Python-urllib/2.7)，
這個(gè)身份可能會(huì)讓站點(diǎn)迷惑，或者干脆不工作。
瀏覽器確認(rèn)自己身份是通過User-Agent頭，當(dāng)你創(chuàng)建了一個(gè)請(qǐng)求對(duì)象，你可以給他一個(gè)包含頭數(shù)據(jù)的字典。
下面的例子發(fā)送跟上面一樣的內(nèi)容，但把自身模擬成Internet Explorer。
（多謝大家的提醒，現(xiàn)在這個(gè)Demo已經(jīng)不可用了，不過原理還是那樣的）。
[python]?view plaincopy
總結(jié)
以上是生活随笔為你收集整理的[Python]网络爬虫( 连载：大牛汪海 )的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： STM32精英版（正点原子STM32F1
- 下一篇： 如何使用python批量下载-如何用Py