前面兩節我們對貓眼網站進行了爬取，中間，我們會遇到各種反爬蟲，包括滑動驗證和字體加密等等，今天，我們就對這些反爬蟲進行一一破解，實現貓眼網站的全信息爬取！

1、滑動驗證：滑動驗證類似于極驗證（滑塊驗證，電腦的B站登陸要滑動的哪個），但是原理不一樣，目前來說，12306的相關搶票的腳本已經實現了自動加載滑塊滑動，但大多數情況還得手動，在這里也是。
破解流程：

1、先嘗試著獲取數據，如果遇到爬取鏈接與實際鏈接不一致，如下圖：

即爬取的鏈接和實際鏈接不一致時，尤其是出現了類似于：
https://verify.meituan.com/v2/web/general_page?action=spiderindefence&requestCode=350941fd3ea345bd99f8e17f7f99f2f5&platform=1000&adaptor=auto&succCallbackUrl=https%3A%2F%2Foptimus-mtsi.meituan.com%2Foptimus%2FverifyResult%3ForiginUrl%3Dhttp%253A%252F%252Fmaoyan.com%252Ffilms%252F224973
這樣的鏈接，那么就是被反爬蟲了，不需要慌，只要點擊該鏈接，

人工拖動該滑塊，使之驗證成功，那么ip就通過了驗證，后面就可以成功爬取了。如下圖：

下面是出現滑動驗證的操作示意gif
上面，我們將滑動驗證說清楚了，下面我們開始對字體加密進行分析：點開貓眼電影的詳情，我們在 檢查 中發現：

他的評分人數，評分，票房等相關信息都是無法顯示的，在源代碼中也是類似，那么，我們應該怎么獲取相關的數據呢？百度相關的信息，我們發現：

他采用了一種字體加密方式，且是動態的，每次刷新，都要重新載入一種新的字體，如下圖：

因此，我們不能再采取網上的那種固定的識別文字的方式，必須采取動態識別方式！這里，我們用到的是OCR本地文字識別，主要通過 tesseract 來識別保存在本地的數字符號。

ocr：光學字符識別）是指電子設備（例如掃描儀或數碼相機）檢查紙上打印的字符，通過檢測暗、亮的模式確定其形狀，然后用字符識別方法將形狀翻譯成計算機文字的過程

ocr識別流程:

1、先配置好tesseract的環境和訓練庫，導入相關的包。

?2、下載網頁的字體文件，保存在本地文件夾。

3、將本地的字體坐標進行讀取，并轉化成黑白圖片。

4、進行ocr識別，并將結果進行轉化，將每個坐標對應數字識別代碼，?如下圖

5、找到對應的識別代碼之后，我們就可以在源代碼中進行替換操作了：
將識別出來的數字與字體代碼進行轉換。

6、轉換成功后進行數據的獲取就可以了。

OCR識別的缺點：

1、對訓練庫的要求比較高，否則識別很容易出錯，不準確。

2、識別時間較長，時間花費較大。

但就目前來說，我的識別訓練庫的精度和速度都還可以。

知道了爬蟲步驟與方法，我們就可以編寫代碼了，代碼流程與前兩節類似，這里主要講解一下怎么把字體文件等轉化成圖片識別。

1、首先，導入下面這些庫：

import pytesseract from PIL import Image from fontTools.ttLib import TTFont from matplotlib import pyplot as plt

在OCR識別之前，記得先下好字體文件，再進行后面操作。

2、導入字體文件，獲取到數字的坐標表示區：

font = TTFont(woff_file) font_name = font.getGlyphOrder()[2:] #獲取到字符的uni碼

zb = [font['glyf'][i].coordinates for i in font_name

獲取到每個字體的坐標信息，后面我們就可以根據字體坐標進行繪圖，并將字體編碼與具體數字對應上；部分代碼如下：

def deal_font(font): font_name = font.getGlyphOrder()[2:] zb = [font['glyf'][i].coordinates for i in font_name] fig, ax = plt.subplots() for index, one in enumerate(zb):x, y = [i[0] for i in one], [i[1] for i in one]plt.plot(x, y)x_n = [i + np.max(x) + 100 for i in x]plt.plot(x_n, y)plt.fill(x, y, 'black')plt.fill(x_n, y, 'black')# 去邊框ax.spines['top'].set_visible(False)ax.spines['right'].set_visible(False)ax.spines['bottom'].set_visible(False)ax.spines['left'].set_visible(False)# 去刻度plt.axis('off')plt.fill(x, y, 'black')plt.savefig('images/%s.png' % index)plt.close() path = 'images/' num = [] # 灰度、二值化 for one in os.listdir(path):img = Image.open(path + one)imgry = img.convert("L")threshold = 140table = []for i in range(256):if i < threshold:table.append(0)else:table.append(1)out = imgry.point(table, '1')out.save(path + one)text = pytesseract.image_to_string(out, lang="amt")num.append(text[0]) # 字名與數字 name_num = {font_name[i]: num[i] for i in range(len(font_name))} return name_num

全部代碼在我的公眾號里，回復 貓眼 就可以獲取到，我的公眾號名字是：
python學習號

當然，也可以在這里 下載 ，只是要c幣。

歡迎大家關注。一個python學習者，將其學到的分享出來。

總結

以上是生活随笔為你收集整理的猫眼爬虫三-终极篇：破解滑动验证，动态字体加密的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。