點擊上方“小猿學?Python”，選擇“置頂公眾號”

作者：北島知寒
鏈接：https://www.cnblogs.com/crazyacking/p/5232286.html

當我們試圖從新浪微博抓取數(shù)據(jù)時，我們會發(fā)現(xiàn)網(wǎng)頁上提示未登錄，無法查看其他用戶的信息。

模擬登錄是定向爬蟲制作中一個必須克服的問題，只有這樣才能爬取到更多的內(nèi)容。

實現(xiàn)微博登錄的方法有很多，一般我們在模擬登錄時首選WAP版。

因為PC版網(wǎng)頁源碼中包括很多的js代碼，提交的內(nèi)容也更多，不適合機器模擬登錄。

我們實現(xiàn)微博登錄的大體思路是這樣的：

• 用抓包工具把正常登錄時要提交的字段都記錄下來;
• 模擬提交這些字段;
• 判斷是否登錄成功;

原理很簡單，讓我們一步一步來實現(xiàn)吧。

一.抓包利器Fiddler

在電腦和互聯(lián)網(wǎng)之間的通信是通過不同的數(shù)據(jù)包收發(fā)來實現(xiàn)的。

Fiddler可以從中間對數(shù)據(jù)進行攔截，拷貝一份數(shù)據(jù)以后再將數(shù)據(jù)發(fā)送給目的端。(這也是為什么說咖啡館的公共WIFI不安全的原因)

同類的還有WireShark。為何這兒不用WireShark呢？

Wireshark太過于專業(yè)了，它可以實現(xiàn)抓取各種包，抓下來的包也很亂，針對性沒Fiddler那么強。

下載安裝
1.下載地址：http://www.telerik.com/fiddler
2.安裝方法：fiddler依賴.Net環(huán)境，如果已經(jīng)有則無需配置，直接點擊下一步就行。

使用方法
1.啟動Fiddler
2.配置Fiddler

點擊左上角的“ WinConfig”，找到你使用的瀏覽器并勾選，點擊“Save Changes”

3.使用Fiddler開始抓包

打開瀏覽器訪問WAP版新浪微博網(wǎng)站weibo.cn

Fiddler窗口左側(cè)找到weibo.cn /pub/的數(shù)據(jù)包，并雙擊，這時我們就能夠在右側(cè)看到抓取到的信息.

找到Cookies字段，這正是我們需要的.

二.Cookies與保持登錄

通俗來說就是服務器端為了確認用戶終端的身份而設定的一種加密標識，它是存儲在本地終端上的。

當然，隨著Cookies技術(shù)的發(fā)展，Cookies的作用已經(jīng)不止于用戶身份標識。

當?shù)顷懸粋€網(wǎng)站時，網(wǎng)站往往會請求用戶輸入用戶名和密碼，并且用戶可以勾選“下次自動登錄”。

如果勾選了，那么下次訪問同一個網(wǎng)站時，用戶會發(fā)現(xiàn)沒輸入用戶名和密碼就已經(jīng)登錄了。

這正是因為前一次登陸時服務器發(fā)送了包含登錄憑據(jù)(用戶名+密碼的某種加密形式)的Cookie到用戶的硬盤上。

第二次登錄時，如果該Cookies尚未到期，瀏覽器會發(fā)送該Cookies，服務器驗證憑據(jù)，于是不必輸入用戶名和密碼就讓用戶登錄了。

三.Cookies模擬登錄

下面將介紹使用 Fiddler 獲取新浪微博 Cookies，然后使用 Requests 提交 Cookies 從而實現(xiàn)模擬登錄。

• 抓取登錄數(shù)據(jù)包 使用Fiddler抓取數(shù)據(jù)包.

• 獲取Cookies 打開新浪微博WAP版頁面(weibo.cn)，點擊登錄，然后填寫賬號密碼，勾選“記住登錄狀態(tài)”，切記要勾選此項.

登錄成功后，從Fiddler中選擇最新的那個weibo.cn，然后復制Cookies字段的內(nèi)容，填寫到代碼內(nèi).

代碼如下：

#!/usr/bin/env?python
#coding=utf8

"""?Simulate?a?user?login?to?Sina?Weibo?with?cookie.
You?can?use?this?method?to?visit?any?page?that?requires?login.
"""

import?urllib2
import?re

#?get?your?cookie?from?Fiddler11
cookie?=?'your-cookie'
headers?=?{
???'User-Agent':?'Mozilla/5.0?(Windows?NT?6.1;?rv:24.0)?Gecko/20100101?Firefox/24.0',
???'cookie':?cookie
}

def?visit():
???url?=?'http://weibo.com'
???req?=?urllib2.Request(url,?headers=headers)
???text?=?urllib2.urlopen(req).read()

#?print?the?title,?check?if?you?login?to?weibo?sucessfully
???pat_title?=?re.compile('(.+?)')
???r?=?pat_title.search(text)
???if?r:
???????print(r.group(1))

if?__name__?==?'__main__':
???visit()?

四.使用 Post 提交數(shù)據(jù)的方法實現(xiàn)模擬登錄

由于使用Cookies登錄存在很多的弊端，一般我們都使用Post提交數(shù)據(jù)的方法來實現(xiàn)模擬登錄.

• 通過Fiddler來抓取http數(shù)據(jù)包來分析該網(wǎng)站的登錄流程；
• 分析抓到的post包的數(shù)據(jù)結(jié)構(gòu)和header，要根據(jù)提交的數(shù)據(jù)結(jié)構(gòu)和heander來構(gòu)造自己的post數(shù)據(jù)和header；
• 構(gòu)造自己的HTTP數(shù)據(jù)包，并發(fā)送給指定url；
• 通過urllib2等幾個模塊提供的API來實現(xiàn)request請求的發(fā)送和相應的接收；

大部分網(wǎng)站登錄時需要攜帶cookie，所以我們還必須設置cookie處理器來保證cookie.

如果遇到登錄后網(wǎng)站重定向到其他url這種情況，我們可以使用chrome的審查元素功能找出重定向后的網(wǎng)站url和該網(wǎng)站的提交數(shù)據(jù)，再次使用post方法就行.

代碼如下：

#!/usr/bin/python??
?
import?HTMLParser??
import?urlparse??
import?urllib??
import?urllib2??
import?cookielib??
import?string??
import?re??
?
#登錄的主頁面??
hosturl?=?'******'?//自己填寫??
#post數(shù)據(jù)接收和處理的頁面(我們要向這個頁面發(fā)送我們構(gòu)造的Post數(shù)據(jù))??
posturl?=?'******'?//從數(shù)據(jù)包中分析出，處理post請求的url??
?
#設置一個cookie處理器，它負責從服務器下載cookie到本地，并且在發(fā)送請求時帶上本地的cookie??
cj?=?cookielib.LWPCookieJar()??
cookie_support?=?urllib2.HTTPCookieProcessor(cj)??
opener?=?urllib2.build_opener(cookie_support,?urllib2.HTTPHandler)??
urllib2.install_opener(opener)??
?
#打開登錄主頁面(他的目的是從頁面下載cookie，這樣我們在再送post數(shù)據(jù)時就有cookie了，否則發(fā)送不成功)??
h?=?urllib2.urlopen(hosturl)??
?
#構(gòu)造header，一般header至少要包含一下兩項。這兩項是從抓到的包里分析得出的。??
headers?=?{'User-Agent'?:?'Mozilla/5.0?(Windows?NT?6.1;?WOW64;?rv:14.0)?Gecko/20100101?Firefox/14.0.1',??
??????????'Referer'?:?'******'}??
#構(gòu)造Post數(shù)據(jù)，他也是從抓大的包里分析得出的。??
postData?=?{'op'?:?'dmlogin',??
???????????'f'?:?'st',??
???????????'user'?:?'******',?//你的用戶名??
???????????'pass'?:?'******',?//你的密碼
???????????'rmbr'?:?'true',???//特有數(shù)據(jù)，不同網(wǎng)站可能不同??
???????????'tmp'?:?'0.7306424454308195'??//特有數(shù)據(jù)，不同網(wǎng)站可能不同??
???????????}??
?
#需要給Post數(shù)據(jù)編碼??
postData?=?urllib.urlencode(postData)??
?
#通過urllib2提供的request方法來向指定Url發(fā)送我們構(gòu)造的數(shù)據(jù)，并完成登錄過程??
request?=?urllib2.Request(posturl,?postData,?headers)??
print?request??
response?=?urllib2.urlopen(request)??
text?=?response.read()??
print?text

總結(jié)

以上是生活随笔為你收集整理的spirngmvc如何实现直接输入网页重定向到登录_Python 模拟新浪微博登录的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。