當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

如何爬取猫眼网电影票房数据

發(fā)布時間：2023/12/16 编程问答 45 豆豆

生活随笔收集整理的這篇文章主要介紹了如何爬取猫眼网电影票房数据小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

https://blog.csdn.net/qq_31032181/article/details/79153578

一、背景

?字體反爬應(yīng)用還是很普遍。這兩天有朋友咨詢?nèi)绾螌崿F(xiàn)貓眼票房數(shù)據(jù)的爬取，這里其實與上面的文章核心思想是一致的，但是操作更復(fù)雜一些，本文做一個更詳細的破解實踐。

有對字體反爬還比較陌生的，請參考前文。

二、查找字體源

?貓眼電影是美團旗下的一家集媒體內(nèi)容、在線購票、用戶互動社交、電影衍生品銷售等服務(wù)的一站式電影互聯(lián)網(wǎng)平臺。2015年6月，貓眼電影覆蓋影院超過4000家，這些影院的票房貢獻占比超過90%。目前，貓眼占網(wǎng)絡(luò)購票70%的市場份額，每三張電影票就有一張出自貓眼電影，是影迷下載量較多、使用率較高的電影應(yīng)用軟件。同時，貓眼電影為合作影院和電影制片發(fā)行方提供覆蓋海量電影消費者的精準營銷方案，助力影片票房。

我們使用Chrome瀏覽頁面，并查看源碼，發(fā)現(xiàn)售票中涉及數(shù)字的，在頁面顯示正常，在源碼中顯示一段span包裹的不可見文本。

上面其實就是自定義字體搞的鬼。根據(jù)網(wǎng)頁源碼中，

使用了自定義的stonefont字體，我們在網(wǎng)頁中查找stonefont，很快有了發(fā)現(xiàn)，這就是標(biāo)準的@font-face定義方法。且每次訪問，字體文件訪問地址都會隨機變化。

?我們訪問其中woff文件的地址，可將woff字體文件下載到本地。前文中fonttools并不能直接解析woff字體，我們需要將woff字體轉(zhuǎn)換成otf字體。百度可以直接轉(zhuǎn)換字體，地址：http://fontstore.baidu.com/static/editor/index.html

三、字體解析

?otf就是我們常用的字體文件，可以使用系統(tǒng)自帶的字體查看器查看，但是難以看到更多有效的信息，我們使用一個專用工具Font Creator查看。

可以看到，這個字體里有12個字（含一個空白字），每個字顯示其字形和其字形編碼。這里比之前字體解析更復(fù)雜的是，這里不僅字體編碼每次都會變，字體順序每次也會變，很難直接通過編碼和順序獲取實際的數(shù)字。

因此，我們需要預(yù)先下載一個字體文件，人工識別其對應(yīng)數(shù)值和字體，然后針對每次獲取的新的字體文件，通過比對字體字形數(shù)據(jù)，得到其真實的數(shù)字值。

下面是使用fontTools.ttLib獲取的單個字符的字形數(shù)據(jù)。

</contour>

</TTGlyph>

使用下面語句可以獲取順序的字符編碼值，

# 解析字體庫font文件

baseFont = TTFont('base.otf')

maoyanFont = TTFont('maoyan.otf')

uniList = maoyanFont['cmap'].tables[0].ttFont.getGlyphOrder()

numList = []

baseNumList = ['.', '3', '5', '1', '2', '7', '0', '6', '9', '8', '4']

baseUniCode = ['x', 'uniE64B', 'uniE183', 'uniED06', 'uniE1AC', 'uniEA2D', 'uniEBF8',

'uniE831', 'uniF654', 'uniF25B', 'uniE3EB']

for i in range(1, 12):

maoyanGlyph = maoyanFont['glyf'][uniList[i]]

for j in range(11):

baseGlyph = baseFont['glyf'][baseUniCode[j]]

if maoyanGlyph == baseGlyph:

numList.append(baseNumList[j])

break

四、內(nèi)容替換

關(guān)鍵點攻破了，整個工作就好做了。先訪問需要爬取的頁面，獲取字體文件的動態(tài)訪問地址并下載字體，讀取用戶帖子文本內(nèi)容，替換其中的自定義字體編碼為實際文本編碼，就可復(fù)原網(wǎng)頁為頁面所見內(nèi)容了。

完整代碼如下：

? ?

# -*- coding:utf-8 -*-

import requests

from lxml import html

import re

import woff2otf

from fontTools.ttLib import TTFont

from bs4 import BeautifulSoup as bs

#抓取maoyan票房

class MaoyanSpider:

#頁面初始化

def __init__(self):

self.headers = {

"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",

"Accept-Encoding": "gzip, deflate, br",

"Accept-Language": "zh-CN,zh;q=0.8",

"Cache-Control": "max-age=0",

"Connection": "keep-alive",

"Upgrade-Insecure-Requests": "1",

"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"

}

# 獲取票房

def getNote(self):

url = "http://maoyan.com/cinema/15887?poi=91871213"

host = {'host':'maoyan.com',

'refer':'http://maoyan.com/news',}

headers = dict(self.headers.items() + host.items())

# 獲取頁面內(nèi)容

r = requests.get(url, headers=headers)

#print r.text

response = html.fromstring(r.text)

u = r.text

# 匹配ttf font

cmp = re.compile(",\n url\('(//.*.woff)'\) format\('woff'\)")

rst = cmp.findall(r.text)

ttf = requests.get("http:" + rst[0], stream=True)

with open("maoyan.woff", "wb") as pdf:

for chunk in ttf.iter_content(chunk_size=1024):

if chunk:

pdf.write(chunk)

# 轉(zhuǎn)換woff字體為otf字體

woff2otf.convert('maoyan.woff', 'maoyan.otf')

# 解析字體庫font文件

baseFont = TTFont('base.otf')

maoyanFont = TTFont('maoyan.otf')

uniList = maoyanFont['cmap'].tables[0].ttFont.getGlyphOrder()

numList = []

baseNumList = ['.', '3', '5', '1', '2', '7', '0', '6', '9', '8', '4']

baseUniCode = ['x', 'uniE64B', 'uniE183', 'uniED06', 'uniE1AC', 'uniEA2D', 'uniEBF8',

'uniE831', 'uniF654', 'uniF25B', 'uniE3EB']

for i in range(1, 12):

maoyanGlyph = maoyanFont['glyf'][uniList[i]]

for j in range(11):

baseGlyph = baseFont['glyf'][baseUniCode[j]]

if maoyanGlyph == baseGlyph:

numList.append(baseNumList[j])

break

uniList[1] = 'uni0078'

utf8List = [eval("u'\u" + uni[3:] + "'").encode("utf-8") for uni in uniList[1:]]

# 獲取發(fā)帖內(nèi)容

soup = bs(u,"html.parser")

index=soup.find_all('div', {'class': 'show-list'})

print '---------------Prices-----------------'

for n in range(len(index)):

mn=soup.find_all('h3', {'class': 'movie-name'})

ting=soup.find_all('span', {'class': 'hall'})

mt=soup.find_all('span', {'class': 'begin-time'})

mw=soup.find_all('span', {'class': 'stonefont'})

for i in range(len(mt)):

moviename=mn[i].get_text()

film_ting = ting[i].get_text()

movietime=mt[i].get_text()

moviewish=mw[i].get_text().encode('utf-8')

for i in range(len(utf8List)):

moviewish = moviewish.replace(utf8List[i], numList[i])

print moviename,film_ting,movietime,moviewish

spider = MaoyanSpider()

spider.getNote()

解析訪問，獲取數(shù)據(jù)（最后一列是加密破解后的數(shù)據(jù)）。

Python爬蟲雜記 - 字體文件反爬（二）

https://www.jianshu.com/p/0e2e1aa6d270

在線字體轉(zhuǎn)化工具

https://www.fontke.com/tool/convfont/

總結(jié)

以上是生活随笔為你收集整理的如何爬取猫眼网电影票房数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇： cls
下一篇： admob html5,admob移动广