使用 requests 配置代理服务
生活随笔
收集整理的這篇文章主要介紹了
使用 requests 配置代理服务
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
(1) 如果我們一直用同一個(gè)IP去請(qǐng)求同一個(gè)網(wǎng)站上的網(wǎng)頁(yè),久了之后可能會(huì)被該網(wǎng)站服務(wù)器屏蔽,因此我們可以使用代理IP來(lái)發(fā)起請(qǐng)求,代理實(shí)際上指的就是代理服務(wù)器
(2) 當(dāng)我們使用代理IP發(fā)起請(qǐng)求時(shí),服務(wù)器端顯示的是代理IP的地址,即使被屏蔽了,我們可以換一個(gè)代理IP繼續(xù)爬取,代理IP獲取頁(yè)面:https://www.xicidaili.com/
這里我在本地搭建了一個(gè)代理,它運(yùn)行在 8888 端口,我們使用這個(gè)代理來(lái)請(qǐng)求服務(wù)器:
import requestsproxies = {"http": "127.0.0.1:8888","https": "127.0.0.1:8888" }req = requests.get("https://www.baidu.com/", proxies=proxies) print(req.status_code)?
?
?
?
?
?
?
? ??
轉(zhuǎn)載于:https://www.cnblogs.com/pzk7788/p/10531229.html
總結(jié)
以上是生活随笔為你收集整理的使用 requests 配置代理服务的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: LC滤波器简单设计法 - 一文读懂LC滤
- 下一篇: 爬虫苦训第一天,我的第一个爬虫!!!