在使用python對網(wǎng)頁進(jìn)行多次快速爬取的時候,訪問次數(shù)過于頻繁,服務(wù)器不會考慮User-Agent的信息,會直接把你視為爬蟲,從而過濾掉,拒絕你的訪問,在這種時候就需要設(shè)置代理,我們可以給proxies屬性設(shè)置一個代理的IP地址,代碼如下:

1 import requests2 from lxml import etree3 url = "https://www.ip.cn"4 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 OPR/57.0.3098.116", }5 pro = {6 # 'https': 'https://118.122.92.252:37901', #四川省成都市 電信7 'https': 'https://27.17.45.90:43411', #湖北省武漢市 電信8 }9 try: 10 response = requests.get(url, headers=headers, proxies=pro) 11 html_str = response.content.decode() 12 # print(html_str) 13 html = etree.HTML(html_str) 14 message = html.xpath("//div[@class='well']//p/text()") 15 ip = html.xpath("//div[@class='well']//p/code/text()") 16 eng = html.xpath("//div[@class='well']/p/text()") 17 print(message[0]+ip[0]) 18 print(message[1]+ip[1]) 19 print(eng[2]) 20 except requests.exceptions.ProxyError as e: 21 print("當(dāng)前代理異常") 22 except: 23 print("當(dāng)前請求異常")

在上面的代碼中,調(diào)用requests庫,對一個IP地址查詢網(wǎng)頁進(jìn)行訪問,隨后使用lxml庫的xpath對網(wǎng)頁進(jìn)行分析提取,返回用戶訪問此網(wǎng)頁時自己的IP地址,如果代理設(shè)置成功,則會返回你的信息和IP地址,如下:
如果代理失敗則會返回異常,在代碼中使用了捕獲異常,則會返回設(shè)置的提示信息,“當(dāng)前代理異常”,如果不是代理的錯誤則是"當(dāng)前請求異常"

PS:免費(fèi)的代理不是很穩(wěn)定,在確認(rèn)代碼無誤后,如果仍然返回異常,可嘗試更換代理IP…

總結(jié)

以上是生活随笔為你收集整理的python爬虫简单的添加代理进行访问的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。