阿里妹導(dǎo)讀：ICCV，被譽(yù)為計(jì)算機(jī)視覺(jué)領(lǐng)域三大頂級(jí)會(huì)議之一。作為計(jì)算機(jī)視覺(jué)領(lǐng)域最高級(jí)別的會(huì)議之一，其論文集代表了計(jì)算機(jī)視覺(jué)領(lǐng)域最新的發(fā)展方向和水平。阿里巴巴在今年的大會(huì)上有多篇論文入選，本篇所解讀的論文是阿里iDST與多家機(jī)構(gòu)合作的入選論文之一，目標(biāo)是教會(huì)機(jī)器讀懂圖片并盡量完整表達(dá)出來(lái)。

精準(zhǔn)描述商品：計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理的聯(lián)合

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展, 人們開(kāi)始嘗試將計(jì)算機(jī)視覺(jué)(Vision)和自然語(yǔ)言處理(Language)兩個(gè)相對(duì)獨(dú)立的領(lǐng)域聯(lián)合起來(lái)進(jìn)行研究，實(shí)現(xiàn)一些在過(guò)去看來(lái)非常困難的任務(wù)，例如“視覺(jué)-語(yǔ)義聯(lián)合嵌入(Visual-SemanticEmbedding)”。該任務(wù)需要將圖像及語(yǔ)句表示成一個(gè)固定長(zhǎng)度的向量，進(jìn)而嵌入到同一個(gè)矢量空間中。這樣，通過(guò)該空間中的近鄰搜索可以實(shí)現(xiàn)圖像和語(yǔ)句的匹配、檢索等。

視覺(jué)語(yǔ)義聯(lián)合嵌入的一個(gè)典型應(yīng)用就是圖像標(biāo)題生成（Image Captioning）：對(duì)于任意輸入的一張圖像, 在空間中找到最匹配的一句話(huà), 實(shí)現(xiàn)圖像內(nèi)容的描述。在電商場(chǎng)景下, 淘寶賣(mài)家在發(fā)布一件商品時(shí), 該算法可以根據(jù)賣(mài)家上傳得圖片, 自動(dòng)生成一段描述性文字, 供賣(mài)家編輯發(fā)布使用。再比如，視覺(jué)語(yǔ)義聯(lián)合嵌入還可以應(yīng)用于“跨模態(tài)檢索(Cross-mediaRetrieval)”：當(dāng)用戶(hù)在電商搜索引擎中輸入一段描述性文字（如“夏季寬松波希米亞大擺沙灘裙”、“文藝小清新娃娃領(lǐng)飛飛袖碎花A字裙”等）, 通過(guò)文字-圖像聯(lián)合分析, 從商品圖像數(shù)據(jù)庫(kù)中找到最相關(guān)的商品圖像返回給用戶(hù)。

之前的不足：只能嵌入較短的語(yǔ)句簡(jiǎn)單描述圖片

以往的視覺(jué)語(yǔ)義聯(lián)合嵌入方法往往只能對(duì)比較短的句子進(jìn)行嵌入，進(jìn)而只能對(duì)圖像做簡(jiǎn)單而粗略的描述，然而在實(shí)際應(yīng)用中，人們更希望得到對(duì)圖像（或圖像顯著區(qū)域）更為細(xì)致精確的描述。如圖1所示，我們不僅想知道誰(shuí)在干什么，還想知道人物的外表，周?chē)奈矬w，背景，時(shí)間地點(diǎn)等。

圖1 現(xiàn)有方法的問(wèn)題

現(xiàn)有方法：“A girl is playing a guitar.”
我們提出的方法：“a young girl sitting on a benchis playing a guitar with a black and white dog nearby.”

為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們提出一個(gè)框架：第一步從圖像中找出一些顯著性區(qū)域，并用具有描述性的短語(yǔ)描述每個(gè)區(qū)域；第二步將這些短語(yǔ)組合成一個(gè)非常長(zhǎng)的具有描述性的句子，如圖2所示。

圖2 我們的提出的框架

為此，我們?cè)谟?xùn)練視覺(jué)語(yǔ)義聯(lián)合嵌入模型時(shí)不僅需要將整個(gè)句子嵌入空間，更應(yīng)該將句子中的各種描述性短語(yǔ)也嵌入空間。然而，以往的視覺(jué)語(yǔ)義聯(lián)合嵌入方法通常采用循環(huán)神經(jīng)網(wǎng)絡(luò)模型（如LSTM(Long short-term memory)模型）來(lái)表示語(yǔ)句。標(biāo)準(zhǔn)的LSTM模型有一個(gè)鏈?zhǔn)浇Y(jié)構(gòu)（Chain structure）：每一個(gè)單元對(duì)應(yīng)一個(gè)單詞，這些單詞按出現(xiàn)順序排成一列，信息從第一個(gè)單詞沿該鏈從前傳到最后，最后一個(gè)節(jié)點(diǎn)包含了所有的信息，往往用于表示整個(gè)句子。顯然，標(biāo)準(zhǔn)的LSTM模型只適合表示整個(gè)句子，無(wú)法表示一句話(huà)中包含的短語(yǔ)，如圖所示。

圖3 鏈?zhǔn)浇Y(jié)構(gòu)的問(wèn)題

論文創(chuàng)新方法：提出層次化的LSTM模型

本文提出一種多模態(tài)、層次化的LSTM模型（Hierarchical Multimodal LSTM）。該方法可以將整個(gè)句子、句子中的短語(yǔ)、整幅圖像、及圖像中的顯著區(qū)域同時(shí)嵌入語(yǔ)義空間中，并且自動(dòng)學(xué)習(xí)出“句子-圖像”及“短語(yǔ)-圖像區(qū)域”間的對(duì)應(yīng)關(guān)系。這樣一來(lái)，我們生成了一個(gè)更為稠密的語(yǔ)義空間，該空間包含了大量的描述性的短語(yǔ)，進(jìn)而可以對(duì)圖像或圖像區(qū)域進(jìn)行更詳細(xì)和生動(dòng)的描述，如圖所示。

圖4 本文提出的多模態(tài)層次結(jié)構(gòu)

本文方法的創(chuàng)新性在于提出了一個(gè)層次化的LSTM模型，根節(jié)點(diǎn)對(duì)應(yīng)整句話(huà)或整幅圖像，葉子節(jié)點(diǎn)對(duì)應(yīng)單詞，中間節(jié)點(diǎn)對(duì)應(yīng)短語(yǔ)或圖象中的區(qū)域。該模型可以對(duì)圖像、語(yǔ)句、圖像區(qū)域、短語(yǔ)進(jìn)行聯(lián)合嵌入（Joint embedding），并且通過(guò)樹(shù)型結(jié)構(gòu)可以充分挖掘和利用短語(yǔ)間的關(guān)系（父子短語(yǔ)關(guān)系）。其具體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示

圖5 網(wǎng)絡(luò)結(jié)構(gòu)

其中為每一個(gè)短語(yǔ)和對(duì)應(yīng)的圖像區(qū)域都引入一個(gè)損失函數(shù)，用于最小化二者的距離，通過(guò)基于結(jié)構(gòu)的反向傳播算法進(jìn)行網(wǎng)絡(luò)參數(shù)學(xué)習(xí)。

在圖像-語(yǔ)句數(shù)據(jù)集上的比較

可見(jiàn)本文方法在幾個(gè)公開(kāi)數(shù)據(jù)集上都獲得了很好的效果

在圖像區(qū)域-短語(yǔ)數(shù)據(jù)集上的對(duì)比

我們提供了一個(gè)帶有標(biāo)注的圖像區(qū)域-短語(yǔ)數(shù)據(jù)集MS-COCO-region，其中人工標(biāo)定了一些顯著性物體，并在這些物體和短語(yǔ)之間建立了聯(lián)系。

下圖是我們方法的可視化結(jié)果，可見(jiàn)我們的短語(yǔ)具有很強(qiáng)的描述性

此外，我們可以學(xué)習(xí)出圖像區(qū)域和短語(yǔ)的對(duì)應(yīng)關(guān)系，如下

總結(jié)

以上是生活随笔為你收集整理的如何让电脑成为看图说话的高手？计算机视觉顶会ICCV论文解读的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。