我們查找網(wǎng)頁的時(shí)候,點(diǎn)擊進(jìn)去就是一個(gè)完整的查看過程。當(dāng)我們想要獲取網(wǎng)頁數(shù)據(jù)的時(shí)候，就要跟這種瀏覽過程一樣，不然網(wǎng)頁會(huì)把我們阻攔在外面。我們今天所要講的python爬蟲header就是幫助我們完成這樣瀏覽過程的一個(gè)工具，是不是聽起來很有意思，接下來我們看看怎么用吧。

headers是解決requests請(qǐng)求反爬的方法之一，相當(dāng)于我們進(jìn)去這個(gè)網(wǎng)頁的服務(wù)器本身，假裝自己本身在爬取數(shù)據(jù)。

對(duì)反爬蟲網(wǎng)頁，可以設(shè)置一些headers信息，模擬成瀏覽器取訪問網(wǎng)站 。

谷歌或者火狐瀏覽器，在網(wǎng)頁面上點(diǎn)擊：右鍵–檢查；點(diǎn)擊更多工具-開發(fā)者工具；直接F12亦可。然后再按Fn+F5刷新出網(wǎng)頁來顯示元素

有的瀏覽器是點(diǎn)擊：右鍵->查看元素，刷新

注意：headers中有很多內(nèi)容，主要常用的就是user-agent 和 host，他們是以鍵對(duì)的形式展現(xiàn)出來，如果user-agent 以字典鍵對(duì)形式作為headers的內(nèi)容，就可以反爬成功，就不需要其他鍵對(duì)；否則，需要加入headers下的更多鍵對(duì)形式。import urllib2

import urllib

values={"username":"xxxx","password":"xxxxx"}

data=urllib.urlencode(values)

url= "https://ssl.gstatic.com/gb/images/v2_730ffe61.png"

user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"

referer='http://www.google.com/'

headers={"User-Agent":user_agent,'Referer':referer}

request=urllib2.Request(url,data,headers)

response=urllib2.urlopen(request)

print response.read()

如果有小伙伴想要去別的網(wǎng)站獲取數(shù)據(jù)，但是卻失敗了，可以考慮一下是不是這方面的原因，試著用此類方法進(jìn)行解決。更多Python學(xué)習(xí)推薦:PyThon學(xué)習(xí)網(wǎng)教學(xué)中心。

總結(jié)

以上是生活随笔為你收集整理的python head 函数_python爬虫中header是什么？怎么用？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。