近年來，深度學(xué)習(xí)在語音、圖像、自然語言處理等領(lǐng)域取得非常突出的成果，成了最引人注目的技術(shù)熱點之一。美團(tuán)這兩年在深度學(xué)習(xí)方面也進(jìn)行了一些探索，其中在自然語言處理領(lǐng)域，我們將深度學(xué)習(xí)技術(shù)應(yīng)用于文本分析、語義匹配、搜索引擎的排序模型等；在計算機(jī)視覺領(lǐng)域，我們將其應(yīng)用于文字識別、目標(biāo)檢測、圖像分類、圖像質(zhì)量排序等。下面我們就以語義匹配、圖像質(zhì)量排序及文字識別這三個應(yīng)用場景為例，來詳細(xì)介紹美團(tuán)在深度學(xué)習(xí)技術(shù)及應(yīng)用方面的經(jīng)驗和方法論。

語義匹配技術(shù)，在信息檢索、搜索引擎中有著重要的地位，在結(jié)果召回、精準(zhǔn)排序等環(huán)節(jié)發(fā)揮著重要作用。

傳統(tǒng)意義上講的語義匹配技術(shù)，更加注重文字層面的語義吻合程度，我們暫且稱之為語言層的語義匹配；而在美團(tuán)這樣典型的O2O應(yīng)用場景下，我們的結(jié)果呈現(xiàn)除了和用戶表達(dá)的語言層語義強(qiáng)相關(guān)之外，還和用戶意圖、用戶狀態(tài)強(qiáng)相關(guān)。

用戶意圖即用戶是來干什么的？比如用戶在百度上搜索“關(guān)內(nèi)關(guān)外”，他的意圖可能是想知道關(guān)內(nèi)和關(guān)外代表的地理區(qū)域范圍，“關(guān)內(nèi)”和“關(guān)外”被作為兩個詞進(jìn)行檢索，而在美團(tuán)上搜索“關(guān)內(nèi)關(guān)外”，用戶想找的就是“關(guān)內(nèi)關(guān)外”這家飯店，“關(guān)內(nèi)關(guān)外”被作為一個詞來對待。

再說用戶狀態(tài)，一個在北京和另一個在武漢的用戶，在百度或淘寶上搜索任何一個詞條，可能得到的結(jié)果不會差太多；但是在美團(tuán)這樣與地理位置強(qiáng)相關(guān)的場景下就會完全不一樣。比如我在武漢搜“黃鶴樓”，用戶找的可能是景點門票，而在北京搜索“黃鶴樓”，用戶找的很可能是一家飯店。

如何結(jié)合語言層信息和用戶意圖、狀態(tài)來做語義匹配呢？

我們的思路是在短文本外引入部分O2O業(yè)務(wù)場景特征，融合到所設(shè)計的深度學(xué)習(xí)語義匹配框架中，通過點擊/下單數(shù)據(jù)來指引語義匹配模型的優(yōu)化方向，最終把訓(xùn)練出的點擊相關(guān)性模型應(yīng)用到搜索相關(guān)業(yè)務(wù)中。下圖是針對美團(tuán)場景設(shè)計的點擊相似度框架ClickNet，是比較輕量級的模型，兼顧了效果和性能兩方面，能很好地推廣到線上應(yīng)用。

表示層

對Query和商家名分別用語義和業(yè)務(wù)特征表示，其中語義特征是核心，通過DNN/CNN/RNN/LSTM/GRU方法得到短文本的整體向量表示，另外會引入業(yè)務(wù)相關(guān)特征，比如用戶或商家的相關(guān)信息，比如用戶和商家距離、商家評價等，最終結(jié)合起來往上傳。

學(xué)習(xí)層

通過多層全連接和非線性變化后，預(yù)測匹配得分，根據(jù)得分和Label來調(diào)整網(wǎng)絡(luò)以學(xué)習(xí)出Query和商家名的點擊匹配關(guān)系。

在該算法框架上要訓(xùn)練效果很好的語義模型，還需要根據(jù)場景做模型調(diào)優(yōu)：首先，我們從訓(xùn)練語料做很多優(yōu)化，比如考慮樣本不均衡、樣本重要度、位置Bias等方面問題。其次，在模型參數(shù)調(diào)優(yōu)時，考慮不同的優(yōu)化算法、網(wǎng)絡(luò)大小層次、超參數(shù)的調(diào)整等問題。經(jīng)過模型訓(xùn)練優(yōu)化，我們的語義匹配模型已經(jīng)在美團(tuán)平臺搜索、廣告、酒店、旅游等召回和排序系統(tǒng)中上線，有效提升了訪購率/收入/點擊率等指標(biāo)。

小結(jié)

深度學(xué)習(xí)應(yīng)用在語義匹配上，需要針對業(yè)務(wù)場景設(shè)計合適的算法框架，此外，深度學(xué)習(xí)算法雖然減少了特征工程工作，但模型調(diào)優(yōu)上難度會增加，因此可以從框架設(shè)計、業(yè)務(wù)語料處理、模型參數(shù)調(diào)優(yōu)三方面綜合起來考慮，實現(xiàn)一個效果和性能兼優(yōu)的模型。

國內(nèi)外各大互聯(lián)網(wǎng)公司（比如騰訊、阿里和Yelp）的線上廣告業(yè)務(wù)都在關(guān)注展示什么樣的圖像能吸引更多點擊。在美團(tuán)，商家的首圖是由商家或運營人工指定的，如何選擇首圖才能更好地吸引用戶呢？圖像質(zhì)量排序算法目標(biāo)就是做到自動選擇更優(yōu)質(zhì)的首圖，以吸引用戶點擊。

傳統(tǒng)的圖像質(zhì)量排序方法主要從美學(xué)角度進(jìn)行質(zhì)量評價，通過顏色統(tǒng)計、主體分布、構(gòu)圖等來分析圖片的美感。但在實際業(yè)務(wù)場景中，用戶對圖片質(zhì)量優(yōu)劣的判斷主觀性很強(qiáng)，難以形成統(tǒng)一的評價標(biāo)準(zhǔn)。比如:
1. 有的用戶對清晰度或分辨率更敏感；
2. 有的用戶對色彩或構(gòu)圖更敏感；
3. 有的用戶偏愛有視覺沖擊力的內(nèi)容而非平淡無奇的環(huán)境圖。

因此我們使用深度學(xué)習(xí)方法，去挖掘圖片的哪些屬性會影響用戶的判斷，以及如何有效融合這些屬性對圖片進(jìn)行評價。

我們使用AlexNet去提取圖片的高層語義描述，學(xué)習(xí)美感、可記憶度、吸引度、品類等High Level特征，并補(bǔ)充人工設(shè)計的Low Level特征（比如色彩、銳度、對比度、角點）。在獲得這些特征后，訓(xùn)練一個淺層神經(jīng)網(wǎng)絡(luò)對圖像整體打分。該框架（如圖2所示）的一個特點是聯(lián)合了深度學(xué)習(xí)特征與傳統(tǒng)特征，既引入高層語義又保留了低層通用描述，既包括全局特征又有局部特征。

對于每個維度圖片屬性的學(xué)習(xí)，都需要大量的標(biāo)簽數(shù)據(jù)來支撐，但完全通過人工標(biāo)記代價極大，因此我們借鑒了美團(tuán)的圖片來源和POI標(biāo)簽體系。關(guān)于吸引度屬性的學(xué)習(xí)，我們選取了美團(tuán)Deal相冊中點擊率高的圖片（多數(shù)是攝影師通過單反相機(jī)拍攝）作為正例，而選取UGC相冊中點擊率低的圖片（多數(shù)是低端手機(jī)拍攝）作為負(fù)例。關(guān)于品類屬性的學(xué)習(xí)，我們將美團(tuán)一級品類和常見二級品類作為圖片標(biāo)簽。基于上述質(zhì)量排序模型，我們?yōu)閺V告POI挑選最合適的優(yōu)質(zhì)首圖進(jìn)行展示，起到吸引用戶點擊，提高業(yè)務(wù)指標(biāo)的目的。圖3給出了基于質(zhì)量排序的首圖優(yōu)選結(jié)果。

為了提升用戶體驗，O2O產(chǎn)品對OCR技術(shù)的需求已滲透到上單、支付、配送和用戶評價等環(huán)節(jié)。OCR在美團(tuán)業(yè)務(wù)中主要起著兩方面作用。一方面是輔助錄入，比如在移動支付環(huán)節(jié)通過對銀行卡卡號的拍照識別，以實現(xiàn)自動綁卡，又如輔助BD錄入菜單中菜品信息。另一方面是審核校驗，比如在商家資質(zhì)審核環(huán)節(jié)對商家上傳的身份證、營業(yè)執(zhí)照和餐飲許可證等證件照片進(jìn)行信息提取和核驗以確保該商家的合法性，比如機(jī)器過濾商家上單和用戶評價環(huán)節(jié)產(chǎn)生的包含違禁詞的圖片。相比于傳統(tǒng)OCR場景（印刷體、掃描文檔），美團(tuán)的OCR場景主要是針對手機(jī)拍攝的照片進(jìn)行文字信息提取和識別，考慮到線下用戶的多樣性，因此主要面臨以下挑戰(zhàn)： > * 成像復(fù)雜：噪聲、模糊、光線變化、形變； > * 文字復(fù)雜：字體、字號、色彩、磨損、筆畫寬度不固定、方向任意； > * 背景復(fù)雜：版面缺失，背景干擾。

對于上述挑戰(zhàn)，傳統(tǒng)的OCR解決方案存在著以下不足： 1. 通過版面分析（二值化，連通域分析）來生成文本行，要求版面結(jié)構(gòu)有較強(qiáng)的規(guī)則性且前背景可分性強(qiáng)（例如文檔圖像、車牌），無法處理前背景復(fù)雜的隨意文字（例如場景文字、菜單、廣告文字等）。 2. 通過人工設(shè)計邊緣方向特征（例如HOG）來訓(xùn)練字符識別模型，此類單一的特征在字體變化，模糊或背景干擾時泛化能力迅速下降。 3. 過度依賴字符切分的結(jié)果，在字符扭曲、粘連、噪聲干擾的情況下，切分的錯誤傳播尤其突出。

針對傳統(tǒng)OCR解決方案的不足，我們嘗試基于深度學(xué)習(xí)的OCR。

1. 基于Faster R-CNN和FCN的文字定位

首先，我們根據(jù)是否有先驗信息將版面劃分為受控場景（例如身份證、營業(yè)執(zhí)照、銀行卡）和非受控場景（例如菜單、門頭圖）。

對于受控場景，我們將文字定位轉(zhuǎn)換為對特定關(guān)鍵字目標(biāo)的檢測問題。主要利用Faster R-CNN進(jìn)行檢測，如下圖所示。為了保證回歸框的定位精度同時提升運算速度，我們對原有框架和訓(xùn)練方式進(jìn)行了微調(diào):
> * 考慮到關(guān)鍵字目標(biāo)的類內(nèi)變化有限，我們裁剪了ZF模型的網(wǎng)絡(luò)結(jié)構(gòu)，將5層卷積減少到3層。
> * 訓(xùn)練過程中提高正樣本的重疊率閾值，并根據(jù)業(yè)務(wù)需求來適配RPN層Anchor的寬高比。

對于非受控場景，由于文字方向和筆畫寬度任意變化，目標(biāo)檢測中回歸框的定位粒度不夠，我們利用語義分割中常用的全卷積網(wǎng)絡(luò)（FCN）來進(jìn)行像素級別的文字/背景標(biāo)注，如下圖所示。為了同時保證定位的精度和語義的清晰，我們不僅在最后一層進(jìn)行反卷積，而且融合了深層Layer和淺層Layer的反卷積結(jié)果

2. 基于序列學(xué)習(xí)框架的文字識別

為了有效控制字符切分和識別后處理的錯誤傳播效應(yīng)，實現(xiàn)端到端文字識別的可訓(xùn)練性，我們采用如下圖所示的序列學(xué)習(xí)框架。框架整體分為三層：卷積層，遞歸層和翻譯層。其中卷積層提特征，遞歸層既學(xué)習(xí)特征序列中字符特征的先后關(guān)系，又學(xué)習(xí)字符的先后關(guān)系，翻譯層實現(xiàn)對時間序列分類結(jié)果的解碼。

由于序列學(xué)習(xí)框架對訓(xùn)練樣本的數(shù)量和分布要求較高，我們采用了真實樣本+合成樣本的方式。真實樣本以美團(tuán)業(yè)務(wù)來源（例如菜單、身份證、營業(yè)執(zhí)照）為主，合成樣本則考慮了字體、形變、模糊、噪聲、背景等因素。基于上述序列學(xué)習(xí)框架和訓(xùn)練數(shù)據(jù)，在多種場景的文字識別上都有較大幅度的性能提升，如下圖所示。

本文主要以深度學(xué)習(xí)在自然語言處理、圖像處理兩個領(lǐng)域的應(yīng)用為例進(jìn)行了介紹，但深度學(xué)習(xí)在美團(tuán)可能發(fā)揮的價值遠(yuǎn)遠(yuǎn)不限于此。未來，我們將繼續(xù)在各個場景深入挖掘，比如在智能交互、配送調(diào)度、智能運營等，在美團(tuán)產(chǎn)品的智能化道路上貢獻(xiàn)一份力量。

文竹，美團(tuán)平臺與酒旅事業(yè)群智能技術(shù)中心負(fù)責(zé)人，2010年從清華碩士畢業(yè)后，加入百度，先后從事機(jī)器翻譯的研發(fā)及多個技術(shù)團(tuán)隊的管理工作。2015年4月加入美團(tuán)，負(fù)責(zé)智能技術(shù)中心的管理工作，致力于推動自然語言處理、圖像處理、機(jī)器學(xué)習(xí)、用戶畫像等技術(shù)在公司業(yè)務(wù)上的落地。

李彪，美團(tuán)平臺及酒旅事業(yè)群NLP技術(shù)負(fù)責(zé)人，曾就職搜狗、百度。2015年加入美團(tuán)，致力于NLP技術(shù)積累和業(yè)務(wù)的落地，負(fù)責(zé)的工作包括深度學(xué)習(xí)平臺和模型，文本分析在搜索、廣告、推薦等業(yè)務(wù)上應(yīng)用，智能客服和交互。

曉明，美團(tuán)平臺及酒旅事業(yè)群圖像技術(shù)負(fù)責(zé)人，曾就職于三星研究院。2015年加入美團(tuán)，主要致力于圖像識別技術(shù)的積累和業(yè)務(wù)落地，作為技術(shù)負(fù)責(zé)人主導(dǎo)了圖像機(jī)審、首圖優(yōu)選和OCR等項目的上線，推進(jìn)了美團(tuán)產(chǎn)品的智能化體驗和人力成本的節(jié)省。

總結(jié)

以上是生活随笔為你收集整理的深度学习在美团的应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。