10-穿墻代理的設(shè)置

鄭昀 201005 隸屬于《01.數(shù)據(jù)抓取》小節(jié)

?

我們?cè)L問 Twitter 等被封掉的網(wǎng)站時(shí)，需要設(shè)置 Proxy 。

1.使用HTTP Proxy

下面是普通HTTP Proxy的設(shè)置方式：

1.1.pycurl 的設(shè)置

_proxy_connect = "http://127.0.0.1:1984"

c = pycurl.Curl()

…

c.setopt(pycurl.PROXY, _proxy_connect)

?

1.2.urllib2 的設(shè)置

req = urllib2.Request(link)
proxy = urllib2.ProxyHandler({'http':'http://127.0.0.1:1984'})
opener = urllib2.build_opener(proxy,urllib2.HTTPHandler)
urllib2.install_opener(opener)
req.add_header('User-Agent', URLLIB2_USER_AGENT)
urllib2.urlopen(link)

…
opener.close()

?

1.3.httplib 的設(shè)置

conn = httplib.HTTPConnection("127.0.0.1",1984)
conn.request("GET", "http://www.python.org/index.html")
r = conn.getresponse()
print r.status, r.reason

?

1.4.httplib2 的設(shè)置

import httplib2
import socks
httplib2.debuglevel=4
h = httplib2.Http(proxy_info = httplib2.ProxyInfo(socks.PROXY_TYPE_HTTP, 'proxy_host', proxy_port))
r,c = h.request(http://bitworking.org/news/)

參見 httplib2 的 Wiki 說明。

socks 庫需要安裝，主頁地址：http://socksipy.sourceforge.net/ ，它不需要安裝，下載源代碼包后直接把 socks.py 復(fù)制到 Python's lib/site-packages 目錄即可。

httplib2 則用 easy_install httplib2 安裝即可。

?

1.5.socket代理

參見《python中的socket代理》可知，更底層的socket代理如下所示：

import socks, socket
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "proxy_host", proxy_port)
socket.socket = socks.socksocket
需要 socks 庫。

1.6.twisted.web.client 的設(shè)置

from twisted.internet import reactor
from twisted.web import client
class ProxyClientFactory(client.HTTPClientFactory):
??? def setURL(self, url):
??????? client.HTTPClientFactory.setURL(self, url)
??????? self.path = url
factory = ProxyClientFactory('http://url_you_want')
reactor.connectTCP('http://proxy_host', proxy_port, factory)
reactor.run()
如果代理需要Basic身份驗(yàn)證，如代理地址是：http://user:pwd@host:port ，那么就用到proxy-authenticate header了：

import base64
# Proxy credentials
proxyAuth = base64.encodestring('%s:%s' % (proxy_username,proxy_password))
proxy_authHeader = "Basic " + proxyAuth.strip()

factory = ProxyClientFactory('http://url_you_want')

factory.headers={'Proxy-Authenticate': proxy_authHeader}

reactor.connectTCP('http://proxy_host', proxy_port, factory)

只要把Proxy-Authenticate header字段設(shè)置好，前面的httplib/urllib2等如法炮制，可參考 Python2.6的 test_urllib2 示范代碼中的 test_proxy_basic_auth 函數(shù)。

2.使用HTTPS Proxy

如果代理是HTTPS的，并需要證書，那么請(qǐng)參考 python-httpclient?的寫法。

?

2.1.urllib2 的設(shè)置

Python 2.X可參考 Recipe 456195 的代碼。或參見 Python2.6的 test_urllib2 示范代碼中的 test_proxy_https?函數(shù)。

Python 3k的參見 revision 74204。

?

參考資源：

1、python-httpclient：This project aims to provide an HTTP client library for Python to address some of the shortcomings of httplib and urllib2；

2、Does python twisted framework HttpClient access proxy? ；3、How do I switch this Proxy to use Proxy-Authentication? ；

4、Python 3.0 SSL over Proxy?；

5、Recipe 456195: urrlib2 opener for SSL proxy (CONNECT method) 。 與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的10-穿墙代理的设置 | 01.数据抓取 | Python的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。