簡(jiǎn)介

之前提到了用urllib使用代理ip的方式，詳見(jiàn)博文。這里使用另外一個(gè)框架-requests，其設(shè)計(jì)哲學(xué)為“獻(xiàn)給人類”。它繼承了urllib的所有特性，底層是urllib3。不同于urllib是python標(biāo)準(zhǔn)庫(kù)的內(nèi)容，他是第三方的，所以需要下載安裝（conda或者pip都可以）。安裝conda和包的方法見(jiàn)我的博客。

教程

?這里我從89代理獲取了一個(gè)代理ip地址。

???????

?

import requests # 訪問(wèn)的網(wǎng)頁(yè) url = "http://www.baidu.com" # 使用的代理ip地址 proxy = {"http": '37.10.74.14:8080'} # 使用方法一 rsp = requests.get(url=url, proxies=proxy) print(rsp.text) print("$"*60) # 使用方法二 rsp = requests.request("get", url, proxies=proxy) print(rsp.text)

可以看到運(yùn)行成功，我獲得了我想要的網(wǎng)頁(yè)數(shù)據(jù)供后續(xù)處理，當(dāng)然由于使用代理的國(guó)外ip訪問(wèn)速度稍慢。

總結(jié)

以上是生活随笔為你收集整理的Python爬虫-利用代理IP访问网页（requests）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。