簡介：豐富準(zhǔn)確的地圖數(shù)據(jù)大大提升了我們在使用高德地圖出行的體驗(yàn)。相比于傳統(tǒng)的地圖數(shù)據(jù)采集和制作，高德地圖大量采用了圖像識別技術(shù)來進(jìn)行數(shù)據(jù)的自動化生產(chǎn)，而其中場景文字識別技術(shù)占據(jù)了重要位置。商家招牌上的藝術(shù)字、LOGO五花八門，文字背景復(fù)雜或被遮擋，拍攝的圖像質(zhì)量差，如此復(fù)雜的場景下，如何解決文字識別技術(shù)全、準(zhǔn)、快的問題？本文分享文字識別技術(shù)在高德地圖數(shù)據(jù)生產(chǎn)中的演進(jìn)與實(shí)踐，介紹了文字識別自研算法的主要發(fā)展歷程和框架，以及未來的發(fā)展和挑戰(zhàn)。

一 背景

作為一個(gè)DAU過億的國民級軟件，高德地圖每天為用戶提供海量的查詢、定位和導(dǎo)航服務(wù)。地圖數(shù)據(jù)的豐富性和準(zhǔn)確性決定了用戶體驗(yàn)。傳統(tǒng)的地圖數(shù)據(jù)的采集和制作過程，是在數(shù)據(jù)采集設(shè)備實(shí)地采集的基礎(chǔ)上，再對采集資料進(jìn)行人工編輯和上線。這樣的模式下，數(shù)據(jù)更新慢、加工成本高。為解決這一問題，高德地圖采用圖像識別技術(shù)從采集資料中直接識別地圖數(shù)據(jù)的各項(xiàng)要素，實(shí)現(xiàn)用機(jī)器代替人工進(jìn)行數(shù)據(jù)的自動化生產(chǎn)。通過對現(xiàn)實(shí)世界高頻的數(shù)據(jù)采集，運(yùn)用圖像算法能力，在海量的采集圖片庫中自動檢測識別出各項(xiàng)地圖要素的內(nèi)容和位置，構(gòu)建出實(shí)時(shí)更新的基礎(chǔ)地圖數(shù)據(jù)。而基礎(chǔ)地圖數(shù)據(jù)中最為重要的是POI（Point of Interest）和道路數(shù)據(jù)，這兩種數(shù)據(jù)可以構(gòu)建出高德地圖的底圖，從而承載用戶的行為與商家的動態(tài)數(shù)據(jù)。

圖像識別能力決定了數(shù)據(jù)自動化生產(chǎn)的效率，其中場景文字識別技術(shù)占據(jù)了重要位置。不同采集設(shè)備的圖像信息都需要通過場景文字識別（Scene Text Recognition，STR）獲得文字信息。這要求我們致力于解決場景文字識別技術(shù)全、準(zhǔn)、快的問題。在POI業(yè)務(wù)場景中，識別算法不僅需要盡可能多的識別街邊新開商鋪的文字信息， 還需要從中找出擁有99%以上準(zhǔn)確率的識別結(jié)果，從而為POI名稱的自動化生成鋪平道路；在道路自動化場景中，識別算法需要發(fā)現(xiàn)道路標(biāo)志牌上細(xì)微的變化，日處理海量回傳數(shù)據(jù)，從而及時(shí)更新道路的限速、方向等信息。與此同時(shí)，由于采集來源和采集環(huán)境的復(fù)雜性，高德場景文字識別算法面對的圖像狀況往往復(fù)雜的多。主要表現(xiàn)為：

• 文字語言、字體、排版豐富：商家招牌上的藝術(shù)字體，LOGO五花八門，排版形式各式各樣。

• 文字背景復(fù)雜：文字出現(xiàn)的背景復(fù)雜，可能有較大的遮擋，復(fù)雜的光照與干擾。

• 圖像來源多樣：圖像采集自低成本的眾包設(shè)備，成像設(shè)備參數(shù)不一，拍攝質(zhì)量差。圖像往往存在傾斜、失焦、抖動等問題。

由于算法的識別難度和識別需求的復(fù)雜性，已有的文本識別技術(shù)不能滿足高德高速發(fā)展的業(yè)務(wù)需要，因此高德自研了場景文字識別算法，并迭代多年，為多個(gè)產(chǎn)品提供識別能力。

二 文字識別技術(shù)演進(jìn)與實(shí)踐

STR算法發(fā)展主要?dú)v程

場景文字識別（STR）的發(fā)展大致可以分為兩個(gè)階段，以2012年為分水嶺，分別是傳統(tǒng)圖像算法階段和深度學(xué)習(xí)算法階段。

傳統(tǒng)圖像算法
2012年之前，文字識別的主流算法都依賴于傳統(tǒng)圖像處理技術(shù)和統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)，傳統(tǒng)的文字識別方法可以分為圖像預(yù)處理、文字識別、后處理三個(gè)階段：

• 圖像預(yù)處理：完成文字區(qū)域定位，文字矯正，字符切割等處理，核心技術(shù)包括連通域分析，MSER，仿射變換，圖像二值化，投影分析等；
• 文字識別：對切割出的文字進(jìn)行識別，一般采用提取人工設(shè)計(jì)特征（如HOG特征等）或者CNN提取特征，再通過機(jī)器學(xué)習(xí)分類器（如SVM等）進(jìn)行識別；
• 后處理：利用規(guī)則，語言模型等對識別結(jié)果進(jìn)行矯正。

傳統(tǒng)的文字識別方法，在簡單的場景下能達(dá)到不錯(cuò)的效果，但是不同場景下都需要獨(dú)立設(shè)計(jì)各個(gè)模塊的參數(shù)，工作繁瑣，遇到復(fù)雜的場景，難以設(shè)計(jì)出泛化性能好的模型。

深度學(xué)習(xí)算法

2012年之后，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用的不斷擴(kuò)大，文字識別逐漸拋棄了原有方法，過渡到深度學(xué)習(xí)算法方案。在深度學(xué)習(xí)時(shí)代，文字識別框架也逐漸簡化，目前主流的方案主要有兩種，一種是文本行檢測與文字識別的兩階段方案，另一種是端到端的文字識別方案。

1）兩階段文字識別方案

主要思路是先定位文本行位置，然后再對已經(jīng)定位的文本行內(nèi)容進(jìn)行識別。文本行檢測從方法角度主要分為基于文本框回歸的方法[1]，基于分割或?qū)嵗指畹姆椒╗2]，以及基于回歸、分割混合的方法[3]，從檢測能力上也由開始的多向矩形框發(fā)展到多邊形文本[2]，現(xiàn)在的熱點(diǎn)在于解決任意形狀的文本行檢測問題。文本識別從單字檢測識別發(fā)展到文本序列識別，目前序列識別主要又分為基于CTC的方法[4]和基于Attention的方法[5]。

2）端到端文字識別方案[6]

通過一個(gè)模型同時(shí)完成文本行檢測和文本識別的任務(wù)，既可以提高文本識別的實(shí)時(shí)性，同時(shí)因?yàn)閮蓚€(gè)任務(wù)在同一個(gè)模型中聯(lián)合訓(xùn)練，兩部分任務(wù)可以互相促進(jìn)效果。

文字識別框架

高德文字識別技術(shù)經(jīng)過多年的發(fā)展，已經(jīng)有過幾次大的升級。從最開始的基于FCN分割、單字檢測識別的方案，逐漸演進(jìn)到現(xiàn)有基于實(shí)例分割的檢測，再進(jìn)行序列、單字檢測識別結(jié)合的方案。與學(xué)術(shù)界不同，我們沒有采用End-to-End的識別框架，是由于業(yè)務(wù)的現(xiàn)實(shí)需求所決定的。End-to-End框架往往需要足夠多高質(zhì)量的文本行及其識別結(jié)果的標(biāo)注數(shù)據(jù)，但是這一標(biāo)注的成本是極為高昂的，而合成的虛擬數(shù)據(jù)并不足以替代真實(shí)數(shù)據(jù)。因此將文本的檢測與識別拆分開來，有利于分別優(yōu)化兩個(gè)不同的模型。

如下圖所示，目前高德采用的算法框架由文本行檢測、單字檢測識別、序列識別三大模塊構(gòu)成。文本行檢測模塊負(fù)責(zé)檢測出文字區(qū)域，并預(yù)測出文字的掩模用于解決文本的豎直、畸變、彎曲等失真問題，序列識別模塊則負(fù)責(zé)在檢測出的文字區(qū)域中，識別出相應(yīng)的文字，對于藝術(shù)文本、特殊排列等序列識別模型效果較差的場景，使用單字檢測識別模型進(jìn)行補(bǔ)充。

文本行檢測

自然場景中的文字區(qū)域通常是多變且不規(guī)則的，文本的尺度大小各異，成像的角度和成像的質(zhì)量往往不受控制。同時(shí)不同采集來源的圖像中文本的尺度變化較大，模糊遮擋的情況也各不相同。我們根據(jù)實(shí)驗(yàn)，決定在兩階段的實(shí)例分割模型的基礎(chǔ)上，針對實(shí)際問題進(jìn)行了優(yōu)化。

文本行檢測可同時(shí)預(yù)測文字區(qū)域分割結(jié)果及文字行位置信息，通過集成DCN來獲取不同方向的文本的特征信息，增大mask分支的feature大小并集成ASPP模塊，提升文字區(qū)域分割的精度。并通過文本的分割結(jié)果生成最小外接凸包用于后續(xù)的識別計(jì)算。在訓(xùn)練過程中，使用online的數(shù)據(jù)增廣方法，在訓(xùn)練過程中對數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)、mixup等，有效的提高了模型的泛化能力。具體檢測效果如下所示：

目前場景文本檢測能力已經(jīng)廣泛應(yīng)用于高德POI、道路等多個(gè)產(chǎn)品中，為了驗(yàn)證模型能力，分別在ICDAR2013(2018年3月)、ICDAR2017-MLT(2018年10月)、ICDAR2019-ReCTS公開數(shù)據(jù)集中進(jìn)行驗(yàn)證，并取得了優(yōu)異的成績。

文字識別

根據(jù)背景的描述，POI和道路數(shù)據(jù)自動化生產(chǎn)對于文字識別的結(jié)果有兩方面的需求，一方面是希望文本行內(nèi)容盡可能完整識別，另外一方面對于算法給出的結(jié)果能區(qū)分出極高準(zhǔn)確率的部分（準(zhǔn)確率大于99%）。不同于一般文字識別評測以單字為維度，我們在業(yè)務(wù)使用中，更關(guān)注于整個(gè)文本行的識別結(jié)果，因此我們定義了符合業(yè)務(wù)使用需求的文字識別評價(jià)標(biāo)準(zhǔn)：

• 文本行識別全對率：表示文字識別正確且讀序正確的文本行在所有文本行的占比。
• 文本行識別高置信占比：表示識別結(jié)果中的高置信度部分（準(zhǔn)確率大于99%）在所有文本行的占比。

文本行識別全對率主要評價(jià)文字識別在POI名稱，道路名稱的整體識別能力，文本行識別高置信占比主要評價(jià)算法對于拆分出識別高準(zhǔn)確率部分的能力，這兩種能力與我們的業(yè)務(wù)需求緊密相關(guān)。為了滿足業(yè)務(wù)場景對文字識別的需求，我們針對目前主流的文字識別算法進(jìn)行了調(diào)研和選型。

文字識別發(fā)展到現(xiàn)在主要有兩種方法，分別是單字檢測識別和序列識別。單字檢測識別的訓(xùn)練樣本組織和模型訓(xùn)練相對容易，不被文字排版的順序影響。缺點(diǎn)在某些"上下結(jié)構(gòu)"，"左右結(jié)構(gòu)"的漢字容易檢測識別錯(cuò)誤。相比之下序列識別包含更多的上下文信息，而且不需要定位單字精確的位置，減小因?yàn)闈h字結(jié)構(gòu)導(dǎo)致的識別損失。但是現(xiàn)實(shí)場景文本的排版復(fù)雜，"從上到下"，"從左到右"排版會導(dǎo)致序列識別效果不穩(wěn)定。結(jié)合單字檢測識別和序列識別各自的優(yōu)缺點(diǎn)，采用互補(bǔ)的方式提高文字識別的準(zhǔn)確率。

1）單字檢測識別

單字檢測采用Faster R-CNN的方法，檢測效果滿足業(yè)務(wù)場景需求。單字識別采用SENet結(jié)構(gòu)，字符類別支持超過7000個(gè)中英文字符和數(shù)字。在單字識別模型中參考identity mapping的設(shè)計(jì)和MobileNetV2的結(jié)構(gòu)，對Skip Connections和激活函數(shù)進(jìn)行了優(yōu)化，并在訓(xùn)練過程中也加入隨機(jī)樣本變換，大幅提升文字識別的能力。在2019年4月，為了驗(yàn)證在文字識別的算法能力，我們在ICDAR2019-ReCTS文字識別競賽中獲得第二名的成績（準(zhǔn)確率與第一名相差0.09%）。

2）文本序列識別

近年來，主流的文本序列識別算法如Aster、DTRT等，可以分解為文字區(qū)域糾正，文字區(qū)域特征提取、序列化編碼圖像特征和文字特征解碼四個(gè)子任務(wù)。文字區(qū)域糾正和文字區(qū)域特征提取將變形的文本行糾正為水平文本行并提取特征，降低了后續(xù)識別算法的識別難度。序列化編碼圖像特征和文字特征解碼（Encoder-Decoder的結(jié)構(gòu)）能在利用圖像的紋理特征進(jìn)行文字識別的同時(shí)，引入較強(qiáng)的語義信息，并利用這種上下文的語義信息來補(bǔ)全識別結(jié)果。

在實(shí)際應(yīng)用中，由于被識別的目標(biāo)主要以自然場景的短中文本為主，場景文本的幾何畸變、扭曲、模糊程度極為嚴(yán)重。同時(shí)希望在一個(gè)模型中識別多個(gè)方向的文本，因此我們采用的是的TPS-Inception-BiLSTM-Attention結(jié)構(gòu)來進(jìn)行序列識別。主要結(jié)構(gòu)如下所示：

對于被檢測到的文本行，基于角點(diǎn)進(jìn)行透視變換，再使用TPS變換獲得水平、豎直方向的文本，按比例縮放長邊到指定大小，并以灰色為背景padding為方形圖像。這一預(yù)處理方式既保持了輸入圖像語義的完整，同時(shí)在訓(xùn)練和測試階段，圖像可以在方形范圍內(nèi)自由的旋轉(zhuǎn)平移，能夠有效的提高彎曲、畸變文本的識別性能。將預(yù)處理完成的圖像輸入CNN中提取圖像特征。再使用BiLSTM編碼成序列特征，并使用Attention依次解碼獲得預(yù)測結(jié)果。如下圖所示，這一模型通過注意力機(jī)制在不同解碼階段賦予圖像特征不同的權(quán)重，從而隱式表達(dá)預(yù)測字符與特征的對齊關(guān)系，實(shí)現(xiàn)在一個(gè)模型中同時(shí)預(yù)測多個(gè)方向文本。文本序列識別模型目前已覆蓋英文、中文一級字庫和常用的繁體字字庫，對于藝術(shù)文本、模糊文本具有較好的識別性能。

3）樣本挖掘&合成

在地圖數(shù)據(jù)生產(chǎn)業(yè)務(wù)中經(jīng)常會在道路標(biāo)志牌中發(fā)現(xiàn)一些生僻的地點(diǎn)名稱或者在POI牌匾中發(fā)現(xiàn)一些不常見的字甚至是繁體字，因此在文字識別效果優(yōu)化中，除了對于模型的優(yōu)化外，合理補(bǔ)充缺字、少字的樣本也是非常重要的環(huán)節(jié)。為了補(bǔ)充缺字、少字的樣本，我們從真實(shí)樣本挖掘和人工樣本合成兩個(gè)方向入手，一方面結(jié)合我們業(yè)務(wù)的特點(diǎn)，通過數(shù)據(jù)庫中已經(jīng)完成制作的包含生僻字的名稱，反向挖掘出可能出現(xiàn)生僻字的圖像進(jìn)行人工標(biāo)注，另一方面，我們利用圖像渲染技術(shù)人工合成文字樣本。實(shí)際使用中，將真實(shí)樣本和人工合成樣本混合使用，大幅提升文字識別能力。

文字識別技術(shù)小結(jié)

高德文字識別算法通過對算法結(jié)構(gòu)的打磨，和多識別結(jié)果的融合，滿足不同使用場景的現(xiàn)實(shí)需要。同時(shí)以文字識別為代表的計(jì)算機(jī)視覺技術(shù)，已廣泛應(yīng)用于高德數(shù)據(jù)自動化生產(chǎn)的各個(gè)角落，在部分采集場景中，機(jī)器已完全代替人工進(jìn)行數(shù)據(jù)的自動化生產(chǎn)。POI數(shù)據(jù)中超過70%的數(shù)據(jù)都是由機(jī)器自動化生成上線，超過90%的道路信息數(shù)據(jù)通過自動化更新。數(shù)據(jù)工藝人員的技能極大簡化，大幅節(jié)約了培訓(xùn)成本和支出開銷。

三 未來發(fā)展和挑戰(zhàn)

目前高德主要依賴深度學(xué)習(xí)的方式解決場景文字的識別問題，相對國外地圖數(shù)據(jù)，國內(nèi)漢字的基數(shù)大，文字結(jié)構(gòu)復(fù)雜導(dǎo)致對數(shù)據(jù)多樣性的要求更高，數(shù)據(jù)不足成為主要痛點(diǎn)。另外，圖像的模糊問題往往會影響自動化識別的性能和數(shù)據(jù)的制作效率，如何識別模糊和對模糊的處理也是高德的研究課題之一。我們分別從數(shù)據(jù)，模型設(shè)計(jì)層面闡述如何解決數(shù)據(jù)不足和模糊識別的問題，以及如何進(jìn)一步提高文字識別能力。

數(shù)據(jù)層面

數(shù)據(jù)問題很重要，在沒有足夠的人力物力標(biāo)注的情況下，如何自動擴(kuò)充數(shù)據(jù)是圖像的一個(gè)通用研究課題。其中一個(gè)思路是通過數(shù)據(jù)增廣的方式擴(kuò)充數(shù)據(jù)樣本。Google DeepMind在CVPR 2019提出AutoAugment的方法, 主要通過用強(qiáng)化學(xué)習(xí)的方法尋找最佳的數(shù)據(jù)增廣策略。另一種數(shù)據(jù)擴(kuò)充的解決辦法是數(shù)據(jù)合成，例如阿里巴巴達(dá)摩院的SwapText利用風(fēng)格遷移的方式完成數(shù)據(jù)生成。

模型層面

模糊文本的識別

模糊通常造成場景識別文本未檢測和無法識別的問題。在學(xué)術(shù)界超分辨率是解決模糊問題的主要方式之一，TextSR通過SRGAN對文本超分的方式，還原高清文本圖像，解決模糊識別的問題。對比TextSR，首爾大學(xué)和馬薩諸塞大學(xué)在Better to Follow文中提出通過GAN對特征的超分辨率方式，沒有直接生成新的圖像而是將超分辨率網(wǎng)絡(luò)集成在檢測網(wǎng)絡(luò)中，在效果接近的同時(shí)，由于其采用End-to-End的模式，計(jì)算效率大幅提高。

文字語義理解

通常人在理解復(fù)雜文字時(shí)會參考一定的語義先驗(yàn)信息，近年來隨著NLP（Natural Language Processing）技術(shù)的發(fā)展，使得計(jì)算機(jī)也擁有獲得語義信息的能力。參考人理解復(fù)雜文字的方式，如何利用語義的先驗(yàn)信息和圖像的關(guān)系提高文字識別能力是一個(gè)值得研究的課題。例如SEED在CVPR 2020提出將語言模型添加到識別模型中，通過圖像特征和語義特征綜合判斷提高文字識別能力。

其他發(fā)展

除此之外，從云到端也是模型發(fā)展的一個(gè)趨勢，端上化的優(yōu)勢在于節(jié)約資源，主要體現(xiàn)在節(jié)約上傳至云端的流量開銷和云端服務(wù)器的計(jì)算壓力。在端上化設(shè)計(jì)上，針對OCR算法的研究和優(yōu)化，探索高精度、輕量級的檢測和識別框架，壓縮后模型的大小和速度滿足端上部署的需要，也是我們今后需要研究的一個(gè)課題。

參考文獻(xiàn)

Liao M et al. Textboxes++: A single-shot oriented scene text detector[J]. IEEE transactions on image processing, 2018.

Lyu P , Liao M , Yao C , et al. Mask TextSpotter: An End-to-End Trainable Neural Network for Spotting Text with Arbitrary Shapes[J]. 2018.

Zhou X , Yao C , Wen H , et al. EAST: An Efficient and Accurate Scene Text Detector[J]. 2017.

Shi B , Bai X , Yao C . An End-to-End Trainable Neural Network for Image-Based Sequence Recognition and Its Application to Scene Text Recognition[J]. ieee transactions on pattern analysis & machine intelligence, 2017, 39(11):2298-2304.

Wojna Z , Gorban A N , Lee D S , et al. Attention-Based Extraction of Structured Information from Street View Imagery[C]// 2017 14th IAPR International Conference on Document Analysis and Recognition (ICDAR). IEEE, 2018.

Li H , Wang P , Shen C . Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks[J]. 2017.

原文鏈接：https://developer.aliyun.com/article/769180?

版權(quán)聲明：本文中所有內(nèi)容均屬于阿里云開發(fā)者社區(qū)所有，任何媒體、網(wǎng)站或個(gè)人未經(jīng)阿里云開發(fā)者社區(qū)協(xié)議授權(quán)不得轉(zhuǎn)載、鏈接、轉(zhuǎn)貼或以其他方式復(fù)制發(fā)布/發(fā)表。申請授權(quán)請郵件developerteam@list.alibaba-inc.com，已獲得阿里云開發(fā)者社區(qū)協(xié)議授權(quán)的媒體、網(wǎng)站，在轉(zhuǎn)載使用時(shí)必須注明"稿件來源：阿里云開發(fā)者社區(qū)，原文作者姓名"，違者本社區(qū)將依法追究責(zé)任。 如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，歡迎發(fā)送郵件至：developer2020@service.aliyun.com 進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的揭秘！文字识别在高德地图数据生产中的演进的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。