前言

最近時間也是比較多，出于某些原因，對幾個視頻網站的彈幕進行了抓取。今天也是把手頭的事情做完了，想著寫一篇文章，也算對是一篇小小的總結。(要是有什么不對的地方，還請斧正)

正文

彈幕數據的格式根據網站視頻種類的方式可能有所不同，這里大致分為兩類：一種是存儲在xml,json文件中的，此類比較容易。第二種是直播平臺類的彈幕，由于彈幕具有實時性，存儲在文件中不能滿足其實時性，繼而采用其他的方式，那具體是什么方式呢，先賣個關子。

第一種

對于這里的第一種情況，我們拿優酷來舉例子。

首先，老規矩，帶開網頁，開發者選項，很亂，一堆請求......

SFK7`DIA$74}}~(]}@%J{`5.png

這里呢，有一個快捷的方式：先關閉彈幕，清空選項卡，再打開彈幕看請求。

USJARJDFQ6PZ3LME~Y.png

打開后立即能看到三個請求，是不是有點眼熟，讓我們來看看其中的格式是json的選項卡。

59GM8QN9ZUY8FN7EGW`B.png

很明顯，就是它了。

WHU9FF@4KG8K4ZBF1S8VE.png

5(39KAWJ(DMGJG70{I~~3`T.png

我們看到，這個文件是通過post方式請求得到的。所有彈幕是分多個文件存儲的，而其中決定返回某一文件的參數，經過測試，是由mat參數所決定的。

N`OFY8QBFJZ72YT@A0WU.png

而其他的參數從何而來呢，又有何作用呢。經過測試，iid是某個電影的id，其他參數的值并不影響返回的結果，這里就不考慮進來了。那么問題來了，這個iid到哪兒獲取呢，回到電影主頁面的代碼。搜索之前請求中的iid，果不其然，在這兒。

I%GT4S_AX.png

用正則表達式將其匹配出來，有了這些，請求的主要參數我們也就得到了。

#res.content為我們獲得的主頁內容

iid = re.findall("videoId:\"(.*?)\"", res.content)

第二種

這里采集的是一個直播網站(么么直播)

因為直播網站的彈幕具有實時性，這里采用的是websocket， 有些網站可能是采用的flash的socket通信，為什么要這樣呢，因為需要實現瀏覽器與服務器的全雙工通信，實現實時交互。

來自百度百科：WebSocket協議支持(在受控環境中運行不受信任的代碼的)客戶端與(選擇加入該代碼的通信的)遠程主機之間進行全雙工通信。用于此的安全模型是Web瀏覽器常用的基于原始的安全模式。 協議包括一個開放的握手以及隨后的TCP層上的消息幀。 該技術的目標是為基于瀏覽器的、需要和服務器進行雙向通信的(服務器不能依賴于打開多個HTTP連接(例如，使用XMLHttpRequest或和長輪詢))應用程序提供一種通信機制。

說到web socket，這里又不得不講到ajax輪詢與long poll了：

ajax輪詢的原理比較容易理解，讓瀏覽器隔個幾秒就發送一次請求，詢問服務器是否有新信息。

long poll 其實原理和 ajax輪詢 相似，都是采用輪詢的方式，不過采取的是阻塞模型(一直打電話，沒收到就不掛電話)，也就是說，客戶端發起連接后，如果沒消息，就一直不返回Response給客戶端。直到有消息才返回，返回完之后，客戶端再次建立連接，周而復始。

同樣，看到選項卡：

NGY01P7.png

與普通http請求不同的是，我們可以看到選項卡中多了一個frame的選項，并且其中的內容是實時更新的，這就又說明了web socket的特性，全雙工，就像我們打電話，我跟你說話的同時，你也能和我說話。

那么我們應該怎么模擬瀏覽器與服務器進行通信呢？這里只講簡單的實例，具體還請自行學習。

UYJI3%MV5DAT95_T4VM@7UI.png

代碼實現

import websocket

import re

while True:

try:

ws = websocket.WebSocket()

ws.connect('ws://ws.memeyule.com:6010/socket.io/?room_id=51293043&access_token=&EIO=3&transport=websocket')

while True:

data = ws.recv()

JsonData = re.sub('[0-9]+', '', data, 1)

print JsonData.replace('[','').replace(']', '')

except:

continue

總結

爬蟲看似簡單，其實水深著。對基礎知識是一個不小的考驗！

總結

以上是生活随笔為你收集整理的python弹幕爬虫_Python爬虫弹幕采集的简单分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。