當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

【转】urllib urllib2 httplib

發布時間：2023/12/19 编程问答 39 豆豆

生活随笔收集整理的這篇文章主要介紹了【转】urllib urllib2 httplib 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

copy from http://hi.baidu.com/chjj910/blog/item/7db5c24fbc699d19b2de0540.html python基于http協議編程：httplib,urllib和urllib2(轉) 2010-11-11 20:47

httplib實現了HTTP和HTTPS的客戶端協議，一般不直接使用，在python更高層的封裝模塊中（urllib,urllib2）使用了它的http實現。 import httplib
conn = httplib.HTTPConnection("google.com")
conn.request('get', '/')
print conn.getresponse().read()
conn.close() 復制代碼 httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )

HTTPConnection類的構造函數，表示一次與服務器之間的交互，即請求/響應。參數host表示服務器主機，如：http://www.csdn.net/；port為端口號，默認值為80；參數strict的默認值為false，表示在無法解析服務器返回的狀態行時( status line) （比較典型的狀態行如： HTTP/1.0 200 OK ），是否拋BadStatusLine 異常；可選參數timeout 表示超時時間。
HTTPConnection提供的方法：

HTTPConnection.request ( method , url [ , body [ , headers ]] )

調用request 方法會向服務器發送一次請求，method 表示請求的方法，常用有方法有get 和post ；url 表示請求的資源的url ；body 表示提交到服務器的數據，必須是字符串（如果method 是”post” ，則可以把body 理解為html 表單中的數據）；headers 表示請求的http 頭。
HTTPConnection.getresponse ()
獲取Http 響應。返回的對象是HTTPResponse 的實例，關于HTTPResponse 在下面會講解。
HTTPConnection.connect ()
連接到Http 服務器。
HTTPConnection.close ()
關閉與服務器的連接。
HTTPConnection.set_debuglevel ( level )
設置高度的級別。參數level 的默認值為0 ，表示不輸出任何調試信息。
httplib.HTTPResponse
HTTPResponse表示服務器對客戶端請求的響應。往往通過調用HTTPConnection.getresponse()來創建，它有如下方法和屬性：
HTTPResponse.read([amt])
獲取響應的消息體。如果請求的是一個普通的網頁，那么該方法返回的是頁面的html。可選參數amt表示從響應流中讀取指定字節的數據。
HTTPResponse.getheader(name[, default])
獲取響應頭。Name表示頭域(header field)名，可選參數default在頭域名不存在的情況下作為默認值返回。
HTTPResponse.getheaders()
以列表的形式返回所有的頭信息。
HTTPResponse.msg
獲取所有的響應頭信息。
HTTPResponse.version
獲取服務器所使用的http協議版本。11表示http/1.1；10表示http/1.0。
HTTPResponse.status
獲取響應的狀態碼。如：200表示請求成功。
HTTPResponse.reason
返回服務器處理請求的結果說明。一般為”OK”
下面通過一個例子來熟悉HTTPResponse中的方法：

import httplib
conn = httplib.HTTPConnection("www.g.com", 80, False)
conn.request('get', '/', headers = {"Host": "www.google.com",
"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5",
"Accept": "text/plain"})
res = conn.getresponse()
print 'version:', res.version
print 'reason:', res.reason
print 'status:', res.status
print 'msg:', res.msg
print 'headers:', res.getheaders()
#html
#print '\n' + '-' * 50 + '\n'
#print res.read()
conn.close()
復制代碼

Httplib模塊中還定義了許多常量，如：
Httplib. HTTP_PORT 的值為80，表示默認的端口號為80；
Httplib.OK 的值為200，表示請求成功返回；
Httplib. NOT_FOUND 的值為404，表示請求的資源不存在；
可以通過httplib.responses 查詢相關變量的含義，如：
Print httplib.responses[httplib.NOT_FOUND] #not found
更多關于httplib的信息，請參考Python手冊httplib 模塊。

urllib 和urllib2實現的功能大同小異，但urllib2要比urllib功能等各方面更高一個層次。目前的HTTP訪問大部分都使用urllib2.
urllib2:

req = urllib2.Request('http://pythoneye.com')
response = urllib2.urlopen(req)
the_page = response.read()
復制代碼

FTP同樣：

req = urllib2.Request('ftp://pythoneye.com')

urlopen返回的應答對象response有兩個很有用的方法info()和geturl()
geturl — 這個返回獲取的真實的URL，這個很有用，因為urlopen(或者opener對象使用的)或許
會有重定向。獲取的URL或許跟請求URL不同。
Data數據
有時候你希望發送一些數據到URL
post方式：

values ={'body' : 'test short talk','via':'xxxx'}
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
復制代碼

get方式：

data['name'] = 'Somebody Here'
data['location'] = 'Northampton'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
url = 'http://pythoneye.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)
復制代碼

使用Basic HTTP Authentication:

import urllib2
# Create an OpenerDirector with support for Basic HTTP Authentication...
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password(realm='PDQ Application',
uri='https://pythoneye.com/vecrty.py',
user='user',
passwd='pass')
opener = urllib2.build_opener(auth_handler)
# ...and install it globally so it can be used with urlopen.
urllib2.install_opener(opener)
urllib2.urlopen('http://www. pythoneye.com/app.html')
復制代碼

使用代理ProxyHandler：

proxy_handler = urllib2.ProxyHandler({'http': 'http://www.example.com:3128/'})
proxy_auth_handler = urllib2.HTTPBasicAuthHandler()
proxy_auth_handler.add_password('realm', 'host', 'username', 'password')

opener = build_opener(proxy_handler, proxy_auth_handler)
# This time, rather than install the OpenerDirector, we use it directly:
opener.open('http://www.example.com/login.html')

URLError–HTTPError:

from urllib2 import Request, urlopen, URLError, HTTPError
req = Request(someurl)
try:
response = urlopen(req)
except HTTPError, e:
print 'Error code: ', e.code
except URLError, e:
print 'Reason: ', e.reason
else:
.............

復制代碼

或者：

from urllib2 import Request, urlopen, URLError
req = Request(someurl)
try:
response = urlopen(req)
except URLError, e:
if hasattr(e, 'reason'):
print 'Reason: ', e.reason
elif hasattr(e, 'code'):
print 'Error code: ', e.code
else:
.............
復制代碼

通常，URLError在沒有網絡連接(沒有路由到特定服務器),或者服務器不存在的情況下產生
異常同樣會帶有”reason”屬性，它是一個tuple，包含了一個錯誤號和一個錯誤信息

req = urllib2.Request('http://pythoneye.com')
try:
urllib2.urlopen(req)
except URLError, e:
print e.reason
print e.code
print e.read()
復制代碼

最后需要注意的就是，當處理URLError和HTTPError的時候，應先處理HTTPError，后處理URLError
Openers和Handlers：
opener使用操作器（handlers）。所有的重活都交給這些handlers來做。每一個handler知道
怎么打開url以一種獨特的url協議（http，ftp等等），或者怎么處理打開url的某些方面，如，HTTP重定向，或者HTTP
cookie。
默認opener有對普通情況的操作器（handlers）- ProxyHandler, UnknownHandler, HTTPHandler,
HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.
再看python API：Return an OpenerDirector instance, which chains the handlers in the order given
這就更加證明了一點，那就是opener可以看成是一個容器，這個容器當中放的是控制器，默認的，容器當中有五個控制
器，程序員也可以加入自己的控制器，然后這些控制器去干活。

class HTTPHandler(AbstractHTTPHandler):
def http_open(self, req):
return self.do_open(httplib.HTTPConnection, req)
http_request = AbstractHTTPHandler.do_request_
復制代碼

HTTPHandler是Openers當中的默認控制器之一，看到這個代碼，證實了urllib2是借助于httplib實現的，同時也證實了Openers和Handlers的關系。

綠色通道：好文要頂關注我收藏該文與我聯系 Morya
關注 - 2
粉絲 - 0 +加關注 0 0 (請您對文章做出評價) ? 博主前一篇：browser1.py
? 博主后一篇：【轉帖】用python爬蟲抓站的一些技巧總結

Feedback

#1樓[樓主] 　回復　引用　查看　

2011-05-13 12:50 by Morya ?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

import socks import httplib2 url2 = r'http://www.cnblogs.com/' url = r'http://passport.cnblogs.com/login.aspx' body = [ ('tbUserName', 'xxx'), ('tbPassword', 'xxx'), ('txtReturnUrl', 'http://home.cnblogs.com/'), ] headers = {'Content-type': 'application/x-www-form-urlencoded', 'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.17) Gecko/20110420 Firefox/3.6.17'} #proxy = httplib2.ProxyInfo(socks.PROXY_TYPE_HTTP, 'http://xxx.xxx.com', 8080) http = httplib2.Http( # proxy_info = proxy ) response, content = http.request(url, 'GET', headers=headers, #connection_type='http', ) # set cookie headers = {'Cookie': response['set-cookie']} response, content = http.request( url, 'POST', headers=headers, body=urllib.urlencode(body) ) print type(content) try: content = unicode(content) self.view.setHtml(content) except: return return

轉載于:https://www.cnblogs.com/cheungjustin/archive/2012/01/05/2313509.html

總結

以上是生活随笔為你收集整理的【转】urllib urllib2 httplib的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：主动出击！消息称佳能在研究与手机厂商合作
下一篇：美媒发问：没有中国参与世界能制造电动汽

编程问答

【转】urllib urllib2 httplib

Feedback

#1樓[樓主] 回復 引用 查看

總結

#1樓[樓主] 　回復　引用　查看　