知识点讲解一:代理ip中的proxies
生活随笔
收集整理的這篇文章主要介紹了
知识点讲解一:代理ip中的proxies
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
proxise
proxies的格式是一個字典:{‘http’: ‘http://42.84.226.65:8888‘}
有http與https兩種,在爬取不同網站時我們需要選用不同類型的網站時選用不同的proxise,在不知道網站類型時可以將兩種類型均放進去,requests會自動選擇合適的
proxies = {"http": "http://10.10.1.10:3128","https": "http://10.10.1.10:1080" }- http型:{‘http’: ‘http://42.84.226.65:8888‘}
- https型:{‘https’: ‘http://124.193.37.5:8888‘}
如果你是這樣的
proxies = {"http": "http://10.10.1.10:3128" }而你要爬的是https型網站
requests請求可以成功,但是請求使用的將會是你真實的ip地址
如果你是這樣的
proxies = {"https": "http://10.10.1.10:1080" }而你要爬的是http型網站
你的requests也可以成功,但是使用的還是你真實的ip地址
只有當你的proxies類型與你想訪問的網站類型相同,代理ip才會起作用
可以用以下代碼檢驗你的代理ip是否成功啟用
訪問 http://icanhazip.com/(https://icanhazip.com/) 可以得到你訪問時的ip地址
判斷代理是否有效的方法
import telnetlibtry:telnetlib.Telnet('10.10.1.10', port='1080', timeout=3) except:print('ip無效!') else:print('ip有效!')總結
以上是生活随笔為你收集整理的知识点讲解一:代理ip中的proxies的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 分隔百度百科中的名人信息与非名人信息
- 下一篇: 知识点讲解二:关于requests里的t