代理：破解封IP這種反爬機制。

什么是代理：

• 代理服務器。

代理的作用：

• 突破自身IP訪問的限制。
• 隱藏自身真實IP

代理相關(guān)的網(wǎng)站：
- 快代理

• 西祠代理
• www.goubanjia.com
• https://ip.jiangxianli.com/?page=1

代理ip的類型：

• http：應用到http協(xié)議對應的url中
• https：應用到https協(xié)議對應的url中

代理ip的匿名度：

• 透明：服務器知道該次請求使用了代理，也知道請求對應的真實ip
• 匿名：知道使用了代理，不知道真實ip
• 高匿：不知道使用了代理，更不知道真實的ip

代理在爬蟲中的應用：

import requestsurl = 'http://ip.293.net' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'} # page_text = requests.get(url=url, headers=headers).text page_text = requests.get(url=url, headers=headers, proxies={"http":'51.91.122.208:80'}).textwith open('ip.html', 'w', encoding='utf-8') as fp:fp.write(page_text)

總結(jié)

以上是生活随笔為你收集整理的python爬虫——代理IP的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。