在網(wǎng)絡(luò)迅速發(fā)展的今天，互聯(lián)網(wǎng)企業(yè)層出不窮，爬蟲工作者也越來越多，大家都知道，代理ip是爬蟲工作者的一個(gè)有力助手，今天小編在這里就與大家分享一下如何設(shè)置代理池以及偽裝成瀏覽器的方法，請(qǐng)看下面的介紹。

1.設(shè)置代理：

#定義代理ip

proxy_addr="122.241.72.191:808"

#設(shè)置代理

proxy=urllib.request.ProxyHandle({'http':proxy_addr})

#創(chuàng)建一個(gè)opener

opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle)

#將opener安裝為全局

urllib.request.install_opener(opener)

#用urlopen打開網(wǎng)頁(yè)

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

2.偽裝成瀏覽器

#導(dǎo)入urllib.request模塊

import urllib.request

#設(shè)置請(qǐng)求頭

headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")

#創(chuàng)建一個(gè)opener

opener=urllib.request.build_opener()

#將headers添加到opener中

opener.addheaders=[headers]

#將opener安裝為全局

urllib.request.install_opener(opener)

#用urlopen打開網(wǎng)頁(yè)

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

這就是小編帶來的方法了，大家明白了嗎？希望代理ip軟件能給大家?guī)砀蟮膸椭?/p>

轉(zhuǎn)載注明來自：智游代理IP http://www.zhiyoudaili.com/

相關(guān)文章內(nèi)容簡(jiǎn)介

1

爬蟲要選擇專業(yè)的代理IP

爬蟲是大數(shù)據(jù)時(shí)代非常受歡迎的工具，因?yàn)楝F(xiàn)在互聯(lián)網(wǎng)上的數(shù)據(jù)非常龐大，而且每天都在不斷的增加，所以信息采集脫離爬蟲幾乎是不可能的事情。爬蟲相當(dāng)于一個(gè)訪問網(wǎng)頁(yè)的用戶，但不是一個(gè)普通的用戶，因?yàn)榕老x在采集過程中會(huì)發(fā)出大量請(qǐng)求，而服務(wù)器一般很不歡迎這樣的用戶，所以總是用各種手段發(fā)現(xiàn)和禁止，也就是網(wǎng)站的“反爬蟲”機(jī)制。最常見的方法就是判斷你訪問的頻率，因?yàn)槠胀ㄈ嗽L問網(wǎng)頁(yè)的頻率是不會(huì)很快的，如果發(fā)現(xiàn)某個(gè)IP訪問的過快就會(huì)將此IP封禁。為了能讓爬蟲繼續(xù)工作，就要更換它的IP，常用的更換IP的方法就是用代理IP來更換，但是代理IP也有很多種類型，不同類型的代理IP適合不同的場(chǎng)景，而最適合爬蟲的則是高匿代理IP。所以，想讓爬蟲能夠高效的工作，一定要選擇高匿代理IP。...

[閱讀全文]

2

網(wǎng)絡(luò)爬蟲失敗的原因

在互聯(lián)網(wǎng)上，你可以看到各種各樣的數(shù)據(jù)，人們?yōu)榱耸占瘮?shù)據(jù)，不斷研發(fā)出新技術(shù)以收集數(shù)據(jù)，爬取數(shù)據(jù)和反爬取數(shù)據(jù)的戰(zhàn)爭(zhēng)白熱化，你來我往卻是一場(chǎng)沒有硝煙的戰(zhàn)爭(zhēng)，可以說是非常激烈了。封禁IP地址是最常見和最簡(jiǎn)單的反爬數(shù)據(jù)操作。　　如今，人們?cè)絹碓街匾暰W(wǎng)絡(luò)信息安全，也越來越重視自身的知識(shí)產(chǎn)權(quán)。有網(wǎng)絡(luò)爬蟲的地方自然也有反網(wǎng)絡(luò)爬蟲，雙方一直僵持不下，大有道高一尺魔高一丈之感。在面對(duì)網(wǎng)絡(luò)爬蟲時(shí)，目標(biāo)網(wǎng)站是如何做的呢？　　目標(biāo)網(wǎng)站反網(wǎng)絡(luò)爬蟲最簡(jiǎn)單直接的方式就是區(qū)分人類訪問用戶和網(wǎng)絡(luò)機(jī)器人，對(duì)HTTP請(qǐng)求頭的屬性都分外注意與小心，通過進(jìn)行“是否具有人性”的檢查，區(qū)別人類訪問用戶和網(wǎng)絡(luò)爬蟲，當(dāng)訪問次數(shù)超過了網(wǎng)站所規(guī)定的最高訪問次數(shù)，就會(huì)對(duì)該IP進(jìn)行封禁，出現(xiàn)無法訪問該頁(yè)面的情況。　　但是如果使用HTTP代理IP，可以讓網(wǎng)絡(luò)爬蟲看起來更像人類訪問用戶，并且還可以偽裝真實(shí)IP。當(dāng)訪問一個(gè)非常注重反爬蟲的網(wǎng)站時(shí)，盡量用那種很少檢查但是經(jīng)常使用的動(dòng)態(tài)IP，這樣的話在接受語(yǔ)言屬性時(shí)，是突破對(duì)手的反爬策略的關(guān)鍵。要注意經(jīng)常使用但很少檢查的動(dòng)態(tài)ip代理，比如接受語(yǔ)言屬性，它可能是你...

[閱讀全文]

總結(jié)

以上是生活随笔為你收集整理的爬虫单个ip代理设置_爬虫怎样设置代理ip池的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。