爬取網站頁面時需要登錄后才能訪問，否則獲取不到頁面的實際響應數據

有些網站需要我們登陸才能獲取訪問數據，然而往往登陸頁和所要爬取的數據不在同一頁面，這里一般都會想到對cookies進行處理的方法，如下所示：

1、先成功登錄1次,獲取到cookies,處理為字典2、再改送請求，requests.get(xxx,　cookies=cookies)

然而requests模塊為我們提供一個更加方便的方法，名為session，可以幫助我們維持客戶端和服務端的會話狀態而不斷開：

#　1、實例化session對象session = requests.session()# 2、讓session對象發送get或者post請求post_data = {'username':'','password':''}res = session.post(url=url,　data=post_data,　headers=headers) ＃　登陸res = session.get(url=url,　headers=headers)

原理

瀏覽器原理: 訪問需要登錄的頁面會帶著之前登錄過的cookie
程序原理: 同樣帶著之前登錄的cookie去訪問 - 由session對象完成
1、實例化session對象
2、登錄網站: session對象發送請求,登錄對應網站,把cookie保存在session對象中
3、訪問頁面: session對象請求需要登錄才能訪問的頁面,session能夠自動攜帶之前的這個cookie,進行請求

selenium實現

模擬點擊，再用switch_to切換網頁
…

總結

以上是生活随笔為你收集整理的爬虫如何利用session方法保持登陆状态(selenium)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。