從 Google 的無人駕駛汽車到可以識別假鈔的自動售賣機，機器視覺一直都是一個應用廣 泛且具有深遠的影響和雄偉的愿景的領域。我們將重點介紹機器視覺的一個分支：文字識別，介紹如何用一些 Python庫來識別和使用在線圖片中的文字。

我們可以很輕松的閱讀圖片里的文字，但是機器閱讀這些圖片就會非常困難，利用這種人類用戶可以正常讀取但是大多數機器人都沒法讀取的圖片，驗證碼 (Captcha?? ?英[?k?pt??])就出現了。驗證碼讀取的難易程度也大不相同，有些驗證碼比其他的更加難讀。

一、ORC庫概述

將圖像翻譯成文字一般被稱為光學文字識別(Optical Character Recognition, OCR)。可以實現OCR的底層庫并不多,目前很多庫都是使用共同的幾個底層 OCR 庫,或者是在上面 進行定制。

在讀取和處理圖像、圖像相關的機器學習以及創建圖像等任務中，Python 一直都是非常出色的語言。雖然有很多庫可以進行圖像處理，但在這里我們只重點介紹：Tesseract

Tesseract 是一個 OCR 庫,目前由 Google 贊助(Google 也是一家以 OCR 和機器學習技術聞名于世的公司)。Tesseract 是目前公認最優秀、最精確的開源 OCR 系統。 除了極高的精確度,Tesseract 也具有很高的靈活性。它可以通過訓練識別出任何字體，也可以識別出任何 Unicode 字符。

二、安裝Tesseract

Windows 系統

下載可執行安裝文件https://code.google.com/p/tesseract-ocr/downloads/list安裝。

Linux 系統

可以通過 apt-get 安裝:?$sudo apt-get tesseract-ocr

Mac OS X系統

用 Homebrew(http://brew.sh/)等第三方庫可以很方便地安裝?brew install tesseract

要使用 Tesseract 的功能，比如后面的示例中訓練程序識別字母，要先在系統中設置一 個新的環境變量?$TESSDATA_PREFIX，讓 Tesseract 知道訓練的數據文件存儲在哪里，然后搞一份tessdata數據文件，放到Tesseract目錄下。

• 在大多數 Linux 系統和 Mac OS X 系統上,你可以這么設置:?$export TESSDATA_PREFIX=/usr/local/share/Tesseract

• 在 Windows 系統上也類似,你可以通過下面這行命令設置環境變量:?#setx TESSDATA_PREFIX C:\Program Files\Tesseract OCR\Tesseract

安裝pytesseract

Tesseract 是一個 Python 的命令行工具，不是通過 import 語句導入的庫。安裝之后,要用 tesseract 命令在 Python 的外面運行，但我們可以通過 pip 安裝支持Python 版本的 Tesseract庫：

pip install pytesseract

三、處理給規范的文字

你要處理的大多數文字都是比較干凈、格式規范的。格式規范的文字通常可以滿足一些需求,不過究竟什么是“格式混亂”,什么算“格式規范”,確實因人而異。 通常,格式規范的文字具有以下特點:

• 使用一個標準字體(不包含手寫體、草書,或者十分“花哨的”字體) ? 雖然被復印或拍照,字體還是很清晰,沒有多余的痕跡或污點
• 排列整齊,沒有歪歪斜斜的字
• 沒有超出圖片范圍,也沒有殘缺不全,或緊緊貼在圖片的邊緣

文字的一些格式問題在圖片預處理時可以進行解決。例如,可以把圖片轉換成灰度圖,調 整亮度和對比度,還可以根據需要進行裁剪和旋轉（詳情請關注圖像與信號處理），但是,這些做法在進行更具擴展性的 訓練時會遇到一些限制。

格式規范文字的理想示例

通過下面的命令運行 Tesseract，讀取文件并把結果寫到一個文本文件中: `tesseract test.jpg text

?

cat text.txt?即可顯示結果。

識別結果很準確,不過符號^和*分別被表示成了雙引號和單引號。大體上可以讓你很舒服地閱讀。

通過Python代碼實現

import pytesseract from PIL import Imageimage = Image.open('test.jpg') text = pytesseract.image_to_string(image) print text

運行結果：

This is some text, written in Arial, that will be read by Tesseract. Here are some symbols: !@#$%"&*()

對圖片進行閾值過濾和降噪處理（了解即可）

很多時候我們在網上會看到這樣的圖片：

?

Tesseract 不能完整處理這個圖片,主要是因為圖片背景色是漸變的,最終結果是這樣:

?

隨著背景色從左到右不斷加深,文字變得越來越難以識別,Tesseract 識別出的 每一行的最后幾個字符都是錯的。

遇到這類問題,可以先用 Python 腳本對圖片進行清理。利用 Pillow 庫,我們可以創建一個 閾值過濾器來去掉漸變的背景色,只把文字留下來,從而讓圖片更加清晰,便于 Tesseract 讀取:

from PIL import Image import subprocessdef cleanFile(filePath, newFilePath): image = Image.open(filePath)# 對圖片進行閾值過濾,然后保存image = image.point(lambda x: 0 if x<143 else 255) image.save(newFilePath)# 調用系統的tesseract命令對圖片進行OCR識別 subprocess.call(["tesseract", newFilePath, "output"])# 打開文件讀取結果file = open("output.txt", 'r') print(file.read()) file.close()cleanFile("text2.jpg", "text2clean.png")

通過一個閾值對前面的“模糊”圖片進行過濾的結果

除了一些標點符號不太清晰或丟失了,大部分文字都被讀出來了。Tesseract 給出了最好的 結果:

?四、從網站圖片中抓取文字

用 Tesseract 讀取硬盤里圖片上的文字,可能不怎么令人興奮,但當我們把它和網絡爬蟲組合使用時,就能成為一個強大的工具。

網站上的圖片可能并不是故意把文字做得很花哨 (就像餐館菜單的 JPG 圖片上的藝術字),但它們上面的文字對網絡爬蟲來說就是隱藏起來 了，舉個例子：

• 雖然亞馬遜的 robots.txt 文件允許抓取網站的產品頁面,但是圖書的預覽頁通常不讓網絡機 器人采集。

• 圖書的預覽頁是通過用戶觸發 Ajax 腳本進行加載的,預覽圖片隱藏在 div 節點 下面;其實,普通的訪問者會覺得它們看起來更像是一個 Flash 動畫,而不是一個圖片文 件。當然,即使我們能獲得圖片,要把它們讀成文字也沒那么簡單。

• 下面的程序就解決了這個問題:首先導航到托爾斯泰的《戰爭與和平》的大字號印刷版 1, 打開閱讀器,收集圖片的 URL 鏈接,然后下載圖片,識別圖片,最后打印每個圖片的文 字。因為這個程序很復雜,利用了前面幾章的多個程序片段,所以我增加了一些注釋以讓 每段代碼的目的更加清晰:

import time from urllib.request import urlretrieve import subprocess from selenium import webdriver #創建新的Selenium driver driver = webdriver.PhantomJS()# 用Selenium試試Firefox瀏覽器: # driver = webdriver.Firefox()driver.get("http://www.amazon.com/War-Peace-Leo-Nikolayevich-Tolstoy/dp/1427030200") # 單擊圖書預覽按鈕 driver.find_element_by_id("sitbLogoImg").click() imageList = set() # 等待頁面加載完成 time.sleep(5) # 當向右箭頭可以點擊時,開始翻頁 while "pointer" in driver.find_element_by_id("sitbReaderRightPageTurner").get_attribute("style"):driver.find_element_by_id("sitbReaderRightPageTurner").click()time.sleep(2)# 獲取已加載的新頁面(一次可以加載多個頁面,但是重復的頁面不能加載到集合中) pages = driver.find_elements_by_xpath("//div[@class='pageImage']/div/img") for page in pages:image = page.get_attribute("src")imageList.add(image) driver.quit()# 用Tesseract處理我們收集的圖片URL鏈接 for image in sorted(imageList):# 保存圖片urlretrieve(image, "page.jpg")p = subprocess.Popen(["tesseract", "page.jpg", "page"], stdout=subprocess.PIPE,stderr=subprocess.PIPE)f = open("page.txt", "r")p.wait() print(f.read())

和我們前面使用 Tesseract 讀取的效果一樣,這個程序也會完美地打印書中很多長長的段 落,第六頁的預覽如下所示:

6"A word of friendly advice, moncher. Be off as soon as you can,that's all I have to tell you. Happyhe who has ears to hear. Good-by,my dear fellow. Oh, by the by!" heshouted through the doorway afterPierre, "is it true that the countesshas fallen into the clutches of theholy fathers of the Society of je-sus?"Pierre did not answer and left Ros-topchin's room more sullen and an-gry than he had ever before shownhimself.

但是,當文字出現在彩色封面上時,結果就不那么完美了:

WEI' nrrd PeaceLen Nlkelayevldu IolfluyReadmg shmdd be axwlnvame asnossxble Wenfleran mm m our cram: Llhvary- Leo Tmsloy was a Russian rwovelwstI and moval phflmopher med lurA ms Ideas 01 nonviolenx reswslance m 5 We range 0, "and"

如果想把文字加工成普通人可以看懂的 效果,還需要花很多時間去處理。

接下來，將介紹另一種方法來解決文字混亂的問題,尤其是當你愿意花一點兒時間訓練 Tesseract 的時候。

五、訓練Tesseract

大多數其他的驗證碼都是比較簡單的。例如，流行的 PHP 內容管理系統 Drupal 有一個著 名的驗證碼模塊(https://www.drupal.org/project/captcha)，可以生成不同難度的驗證碼。

那么與其他驗證碼相比，究竟是什么讓這個驗證碼更容易被人類和機器讀懂呢?

• 字母沒有相互疊加在一起，在水平方向上也沒有彼此交叉。也就是說，可以在每一個字 母外面畫一個方框，而不會重疊在一起。
• 圖片沒有背景色、線條或其他對 OCR 程序產生干擾的噪點。
• 雖然不能因一個圖片下定論，但是這個驗證碼用的字體種類很少，而且用的是 sans-serif 字體(像“4”和“M”)和一種手寫形式的字體(像“m”“C”和“3”)。
• 白色背景色與深色字母之間的對比度很高。

這個驗證碼只做了一點點改變，就讓 OCR 程序很難識別。

• 字母和數據都使用了，這會增加待搜索字符的數量。
• 字母隨機的傾斜程度會迷惑 OCR 軟件，但是人類還是很容易識別的。
• 那個比較陌生的手寫字體很有挑戰性，在“C”和“3”里面還有額外的線條。另外這 個非常小的小寫“m”，計算機需要進行額外的訓練才能識別。 用下面的代碼運行 Tesseract 識別圖片:

tesseract captchaExample.png output

我們得到的結果 output.txt 是: 4N\，，，C<3

如何訓練Tesseract？

要訓練 Tesseract 識別一種文字，無論是晦澀難懂的字體還是驗證碼，你都需要向 Tesseract 提供每個字符不同形式的樣本。

做這個枯燥的工作可能要花好幾個小時的時間，你可能更想用這點兒時間找個好看的視頻 或電影看看。首先要把大量的驗證碼樣本下載到一個文件夾里。

下載的樣本數量由驗證碼 的復雜程度決定;我在訓練集里一共放了 100 個樣本(一共 500 個字符，平均每個字符 8 個樣本;a~z 大小寫字母加 0~9 數字，一共 62 個字符)，應該足夠訓練的了。

提示:建議使用驗證碼的真實結果給每個樣本文件命名(即4MmC3.jpg)。 這樣可以幫你 一次性對大量的文件進行快速檢查——你可以先把圖片調成縮略圖模式，然后通過文件名 對比不同的圖片。這樣在后面的步驟中進行訓練效果的檢查也會很方便。

第二步是準確地告訴 Tesseract 一張圖片中的每個字符是什么，以及每個字符的具體位置。 這里需要創建一些矩形定位文件(box file)，一個驗證碼圖片生成一個矩形定位文件。一 個圖片的矩形定位文件如下所示:

4 15 26 33 55 0M 38 13 67 45 0m 79 15 101 26 0C 111 33 136 60 03 147 17 176 45 0

第一列符號是圖片中的每個字符，后面的 4 個數字分別是包圍這個字符的最小矩形的坐標 (圖片左下角是原點 (0，0)，4 個數字分別對應每個字符的左下角 x 坐標、左下角 y 坐標、右上角 x 坐標和右上角 y 坐標)，最后一個數字“0”表示圖片樣本的編號。

顯然，手工創建這些圖片矩形定位文件很無聊，不過有一些工具可以幫你完成。我很喜歡 在線工具 Tesseract OCR Chopper(http://pp19dd.com/tesseract-ocr-chopper/)，因為它不需要?安裝，也沒有其他依賴，只要有瀏覽器就可以運行，而且用法很簡單:上傳圖片，如果要 增加新矩形就單擊“add”按鈕，還可以根據需要調整矩形的尺寸，最后把新生成的矩形 定位文件復制到一個新文件里就可以了。

矩形定位文件必須保存在一個 .box 后綴的文本文件中。和圖片文件一樣，文本文件也是用 驗證碼的實際結果命名(例如，4MmC3.box)。另外，這樣便于檢查 .box 文件的內容和文件的名稱，而且按文件名對目錄中的文件排序之后，就可以讓 .box 文件與對應的圖片文件 的實際結果進行對比。

你還需要創建大約 100 個 .box 文件來保證你有足夠的訓練數據。因為 Tesseract 會忽略那 些不能讀取的文件，所以建議你盡量多做一些矩形定位文件，以保證訓練足夠充分。如果 你覺得訓練的 OCR 結果沒有達到你的目標，或者 Tesseract 識別某些字符時總是出錯，多 創建一些訓練數據然后重新訓練將是一個不錯的改進方法。

創建完滿載 .box 文件和圖片文件的數據文件夾之后，在做進一步分析之前最好備份一下這 個文件夾。雖然在數據上運行訓練程序不太可能刪除任何數據，但是創建 .box 文件用了你 好幾個小時的時間，來之不易，穩妥一點兒總沒錯。此外，能夠抓取一個滿是編譯數據的 混亂目錄，然后再嘗試一次，總是好的。

前面的內容只是對 Tesseract 庫強大的字體訓練和識別能力的一個簡略概述。如果你對 Tesseract 的其他訓練方法感興趣，甚至打算建立自己的驗證碼訓練文件庫，或者想和全世 界的 Tesseract 愛好者分享自己對一種新字體的識別成果，推薦閱讀 Tesseract 的文檔：https://github.com/tesseract-ocr/tesseract/wiki，加油！

總結

以上是生活随笔為你收集整理的爬虫之机器图像识别（ORC库）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。