Python 爬虫使用固定代理IP
生活随笔
收集整理的這篇文章主要介紹了
Python 爬虫使用固定代理IP
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
購買的固定代理IP一般都需要賬號密碼, 在網上找了幾個使用方法,但是都報錯,所以,就想了這個笨辦法,如有好辦法希望大家指點。
''' 遇到問題沒人解答?小編創建了一個Python學習交流QQ群:579817333 尋找有志同道合的小伙伴,互幫互助,群里還有不錯的視頻學習教程和PDF電子書! ''' import requests from requests.auth import HTTPBasicAuthproxy = {'http': 'http://ip:port','https': 'https://ip:port8' } head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/50.0.2661.102 Safari/537.36','Connection': 'keep-alive','Proxy-Authorization': '...' # 在瀏覽器中獲取此值 } p = requests.get('http://icanhazip.com', headers=head) print(p.content.decode('utf-8'))----------------------------------------- 下面是獲取Proxy-Authorization的方法---------------------------------------------------
首先,就是獲取在headers 中的 Proxy-Authorization
用的是Chrome瀏覽器, 設置代理ip
然后點擊 確定
打開一個新的網頁, 隨意登錄一個網站
登錄后, 訪問 http://127.0.0.1
在scrapy的中間件中添加:
這樣就將固定ip設置為代理了~
總結
以上是生活随笔為你收集整理的Python 爬虫使用固定代理IP的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 使用Python内置的smtplib包和
- 下一篇: Python atexit模块