系統(tǒng)運(yùn)維

在學(xué)習(xí)爬蟲(chóng)的過(guò)程中在有的時(shí)候沒(méi)使用頭在使用python的爬蟲(chóng)腳本剛爬了兩次,就只是測(cè)試了一下就打不開(kāi)這個(gè)網(wǎng)頁(yè)了,剛開(kāi)始還一直迷糊著,到后來(lái)才知道,python在做爬蟲(chóng)的時(shí)候默認(rèn)的user agent就是python的大版本,python2.7.的User-Agent: Python-urllib/2.7;python3.5.的User-Agent: Python-urllib/3.5

下面來(lái)做個(gè)試驗(yàn):
python代碼如下:

python2

import urllib2

url = http://www.baidu.com/

request = urllib2.Request(url)

response = urllib2.urlopen(request)

print(response.read())

python3

from urllib import request

url = http://www.baidu.com/

req = request.Request(url)

response = request.urlopen(req)

print(response.read().decode()

我們開(kāi)啟fiddler,運(yùn)行完成代碼,然后在fiddler上面查看下我們的數(shù)據(jù)

很明顯就是python的版本,
因此我們?cè)趯W(xué)習(xí)爬蟲(chóng)的時(shí)候無(wú)論爬什么,代碼最好都要加上這個(gè)頭信息

下面我們?cè)诖a上加入一個(gè)頭

from urllib import request

headers = {
    User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64
}

url = http://www.baidu.com/

req = request.Request(url,headers=headers)

response = request.urlopen(req)

print(response.read().decode())

抓包的結(jié)果如下:

總結(jié)

以上是生活随笔為你收集整理的python爬虫之User Agent的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。