這篇文章主要講解了“網(wǎng)頁Cookie如何獲取”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“網(wǎng)頁Cookie如何獲取”吧！

這里采用python2.7

第一種：mechanize

首先我們要使用mechanize，第一步:

pipinstallmechanize

第二步編寫獲取cookie代碼：

importosimportmechanizeimportcookielib,re
br=mechanize.Browser()
cj=cookielib.LWPCookieJar()
br.set_cookiejar(cj)
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(),max_time=1)
br.set_debug_http(True)
br.addheaders=[('User-agent','用戶ua')]
br.set_proxies({"http":"代理"})
response=br.open('https://www.amazon.com')
cj=br._ua_handlers['_cookies'].cookiejarforcookieincj:
print("cookieName:"+cookie.name)
print("cookieValue:"+cookie.value)
cookie=[item.name+":"+item.valueforitemincj]
cookiestr={}foritemincookie:
name,value=item.split(":")
cookiestr[name]=value

運行結果：

第二種：urllib

importurllib2importcookielibfromhttpimportcookiejarfrombs4importBeautifulSoup
User_Agent='Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.86Safari/537.36'header={}
header['User-Agent']=User_Agent
cookie=cookiejar.CookieJar()
cookie_handle=urllib2.HTTPCookieProcessor(cookie)
cookie_opener=urllib2.build_opener(cookie_handle)#proxy_support=urllib2.ProxyHandler({"http":"5.62.157.47:8085"})#proxy_opener=urllib2.build_opener(proxy_support)urllib2.install_opener(cookie_opener)#urllib2.install_opener(proxy_opener)request=urllib2.Request("https://www.amazon.com",headers=header)
response=urllib2.urlopen(request)foritemincookie:
print('Name='+item.name)
print('Value='+item.value)

運行結果：

第三種：requests

importrequests
headers={'user-agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.86Safari/537.36'}
r=requests.get('https://www.amazon.com',headers=headers)forcookieinr.cookies:
print(cookie.name)
print(cookie.value)
print("=========")

運行結果：

第四種：selenium(個人感覺這個雖然加載比較慢，但是獲取cookie最全)

pipinstallselenium

代碼:

fromseleniumimportwebdriver
driver=webdriver.Chrome(executable_path='d:/seop/chromedriver.exe')
driver.get("https://www.amazon.com")#forcincookiestr.keys():#driver.add_cookie({'name':c,'value':cookiestr[c]})#driver.get("https://www.amazon.com")cookie=[item["name"]+"="+item["value"]foritemindriver.get_cookies()]
cookiestr=';'.join(itemforitemincookie)

運行結果:

第五種:總覺得selenium比較慢，打開還要加載瀏覽器，于是嘗試了 htmlunit以及phantomjs

htmlunit

phantomjs

fromseleniumimportwebdriver
browser=webdriver.PhantomJS()
browser.get("https://www.amazon.com")
cookie=[item["name"]+"="+item["value"]foriteminbrowser.get_cookies()]
cookiestr=';'.join(itemforitemincookie)

運行結果：

第六種：scrapy

這邊我們簡單測試一下，首先你電腦已經(jīng)要安裝了scrapy，如果沒有安裝，pip install scrapy

然后我們輸入要獲取地址的cookie

scrapyshell"https://www.amazon.com"

cookie結果：

最后一種：chrome headless 使用無頭瀏覽器來獲取

這個目前我是在centos上面進行操作：

第一步：肯定你要安裝chrome啦

第二步：運行安裝腳本

curlhttps://intoli.com/install-google-chrome.sh|bash

測試是否成功： 運行以下命令，如果成功會在當前目錄下面保存百度的截圖

google-chrome-stable--no-sandbox--headless--disable-gpu--screenshothttps://www.baidu.com

這里我們開始獲取cookie信息

first：

google-chrome-stable--no-sandbox--headless--disable-gpu--user-data-dir="$HOME/Library/ApplicationSupport/Google/Chrome/"--remote-debugging-port=9222https://www.amazon.com

second: 這里我們主要是獲取websocket的url

curl-slocalhost:9222/json

third： 這邊要注意哦，要安裝wsc，安裝wsc之前記得要安裝npm哦，然后在執(zhí)行npm install -g wsc,然后在執(zhí)行以下命令

wscws://localhost:9222/devtools/page/D42AFC3C9AF9C8A1511ADC60850BD5A8

然后輸入：

{"id":1,"method":"Network.getAllCookies"}

最后cookie結果：

目前嘗試了mechanize、urllib、selenium、headless chrome、requests、htmlunit、phantomjs、scrapy

目前已經(jīng)嘗試了以上八種，覺得還是selenium獲取cookie比較全，信息比較完整，獲取cookie的字段也是比較穩(wěn)定的，經(jīng)過研究cookie，就是selenium獲取cookie的速度比較慢，看看還有沒啥辦法優(yōu)化速度，繼續(xù)查閱別的方式來獲取cookie。

總結

以上是生活随笔為你收集整理的网页Cookie如何获取的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。