那么接下來，小伙伴們就一起和我真正邁向我們的爬蟲之路吧。

1.分分鐘扒一個網(wǎng)頁下來

　　怎樣扒網(wǎng)頁呢？其實就是根據(jù)URL來獲取它的網(wǎng)頁信息，雖然我們在瀏覽器中看到的是一幅幅優(yōu)美的畫面，但是其實是由瀏覽器解釋才呈現(xiàn)出來的，實質(zhì)它是一段HTML代碼，加 JS、CSS，如果把網(wǎng)頁比作一個人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我們就寫個例子來扒一個網(wǎng)頁下來。

1 import urllib2 2 3 response=urllib2.urlopen("http://www.baidu.com") 4 print(response.read())

2.分析扒網(wǎng)頁的方法

　　那么我們來分析這兩行代碼，第一行

1 response = urllib2.urlopen("http://www.baidu.com")

?　　首先我們調(diào)用的是urllib2庫里面的urlopen方法，傳入一個URL，這個網(wǎng)址是百度首頁，協(xié)議是HTTP協(xié)議，當(dāng)然你也可以把HTTP換做FTP,FILE,HTTPS 等等，只是代表了一種訪問控制協(xié)議，urlopen一般接受三個參數(shù)，它的參數(shù)如下：

1 urlopen(url, data, timeout)

　　第一個參數(shù)url即為URL，第二個參數(shù)data是訪問URL時要傳送的數(shù)據(jù)，第三個timeout是設(shè)置超時時間。

　　第二三個參數(shù)是可以不傳送的，data默認為空None，timeout默認為 socket._GLOBAL_DEFAULT_TIMEOUT

　　第一個參數(shù)URL是必須要傳送的，在這個例子里面我們傳送了百度的URL，執(zhí)行urlopen方法之后，返回一個response對象，返回信息便保存在這里面。

1 print response.read()

　　response對象有一個read方法，可以返回獲取到的網(wǎng)頁內(nèi)容。

　　如果不加read直接打印會是什么？答案如下：

1 <addinfourl at 139728495260376 whose fp = <socket._fileobject object at 0x7f1513fb3ad0>>

　　直接打印出了該對象的描述，所以記得一定要加read方法，否則它不出來內(nèi)容可就不怪我咯！

3.構(gòu)造Requset

　　其實上面的urlopen參數(shù)可以傳入一個request請求,它其實就是一個Request類的實例，構(gòu)造時需要傳入Url,Data等等的內(nèi)容。比如上面的兩行代碼，我們可以這么改寫

1 import urllib2 2 3 request = urllib2.Request("http://www.baidu.com") 4 response = urllib2.urlopen(request) 5 print response.read()

　　?運行結(jié)果是完全一樣的，只不過中間多了一個request對象，推薦大家這么寫，因為在構(gòu)建請求時還需要加入好多內(nèi)容，通過構(gòu)建一個request，服務(wù)器響應(yīng)請求得到應(yīng)答，這樣顯得邏輯上清晰明確。

4.POST和GET數(shù)據(jù)傳送

　　上面的程序演示了最基本的網(wǎng)頁抓取，不過，現(xiàn)在大多數(shù)網(wǎng)站都是動態(tài)網(wǎng)頁，需要你動態(tài)地傳遞參數(shù)給它，它做出對應(yīng)的響應(yīng)。所以，在訪問時，我們需要傳遞數(shù)據(jù)給它。最常見的情況是什么？對了，就是登錄注冊的時候呀。

　　把數(shù)據(jù)用戶名和密碼傳送到一個URL，然后你得到服務(wù)器處理之后的響應(yīng)，這個該怎么辦？下面讓我來為小伙伴們揭曉吧！

　　數(shù)據(jù)傳送分為POST和GET兩種方式，兩種方式有什么區(qū)別呢？

　　最重要的區(qū)別是GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數(shù)，當(dāng)然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什么內(nèi)容。POST則不會在網(wǎng)址上顯示所有的參數(shù)，不過如果你想直接查看提交了什么就不太方便了，大家可以酌情選擇。

　　POST方式：

　　上面我們說了data參數(shù)是干嘛的？對了，它就是用在這里的，我們傳送的數(shù)據(jù)就是這個參數(shù)data，下面演示一下POST方式。

1 import urllib 2 import urllib2 3 4 values = {"username":"1016903103@qq.com","password":"XXXX"} 5 data = urllib.urlencode(values) 6 url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn" 7 request = urllib2.Request(url,data) 8 response = urllib2.urlopen(request) 9 print response.read()

　　我們引入了urllib庫，現(xiàn)在我們模擬登陸CSDN，當(dāng)然上述代碼可能登陸不進去，因為CSDN還有個流水號的字段，沒有設(shè)置全，比較復(fù)雜在這里就不寫上去了，在此只是說明登錄的原理。一般的登錄網(wǎng)站一般是這種寫法。

　　我們需要定義一個字典，名字為values，參數(shù)我設(shè)置了username和password，下面利用urllib的urlencode方法將字典編碼，命名為data，構(gòu)建request時傳入兩個參數(shù)，url和data，運行程序，返回的便是POST后呈現(xiàn)的頁面內(nèi)容。

　　注意上面字典的定義方式還有一種，下面的寫法是等價的

1 import urllib 2 import urllib2 3 4 values = {} 5 values['username'] = "1016903103@qq.com" 6 values['password'] = "XXXX" 7 data = urllib.urlencode(values) 8 url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn" 9 request = urllib2.Request(url,data) 10 response = urllib2.urlopen(request) 11 print response.read()

　　?以上方法便實現(xiàn)了POST方式的傳送

　　GET方式：

　　至于GET方式我們可以直接把參數(shù)寫到網(wǎng)址上面，直接構(gòu)建一個帶參數(shù)的URL出來即可。

1 import urllib 2 import urllib2 3 4 values={} 5 values['username'] = "1016903103@qq.com" 6 values['password']="XXXX" 7 data = urllib.urlencode(values) 8 url = "http://passport.csdn.net/account/login" 9 geturl = url + "?"+data 10 request = urllib2.Request(geturl) 11 response = urllib2.urlopen(request) 12 print response.read()

　　你可以print geturl，打印輸出一下url，發(fā)現(xiàn)其實就是原來的url加？然后加編碼后的參數(shù)

1 http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX

　　和我們平常GET訪問方式一模一樣，這樣就實現(xiàn)了數(shù)據(jù)的GET方式傳送。

　　本節(jié)講解了一些基本使用，可以抓取到一些基本的網(wǎng)頁信息，小伙伴們加油！

　　轉(zhuǎn)載整理自：靜覓 ? Python爬蟲入門三之Urllib庫的基本使用，感謝版主的分享。

轉(zhuǎn)載于:https://www.cnblogs.com/AlwaysWIN/p/6236748.html

總結(jié)

以上是生活随笔為你收集整理的Python爬虫入门之Urllib库的基本使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。