阿里妹導讀：ICCV，被譽為計算機視覺領域三大頂級會議之一。作為計算機視覺領域最高級別的會議之一，其論文集代表了計算機視覺領域最新的發(fā)展方向和水平。阿里巴巴在今年的大會上有多篇論文入選，本篇所解讀的論文是阿里iDST與多家機構合作的入選論文之一，目標是教會機器讀懂圖片并盡量完整表達出來。

精準描述商品：計算機視覺和自然語言處理的聯(lián)合

近年來，隨著深度學習技術的快速發(fā)展, 人們開始嘗試將計算機視覺(Vision)和自然語言處理(Language)兩個相對獨立的領域聯(lián)合起來進行研究，實現(xiàn)一些在過去看來非常困難的任務，例如“視覺-語義聯(lián)合嵌入(Visual-SemanticEmbedding)”。該任務需要將圖像及語句表示成一個固定長度的向量，進而嵌入到同一個矢量空間中。這樣，通過該空間中的近鄰搜索可以實現(xiàn)圖像和語句的匹配、檢索等。

視覺語義聯(lián)合嵌入的一個典型應用就是圖像標題生成（Image Captioning）：對于任意輸入的一張圖像, 在空間中找到最匹配的一句話, 實現(xiàn)圖像內容的描述。在電商場景下, 淘寶賣家在發(fā)布一件商品時, 該算法可以根據(jù)賣家上傳得圖片, 自動生成一段描述性文字, 供賣家編輯發(fā)布使用。再比如，視覺語義聯(lián)合嵌入還可以應用于“跨模態(tài)檢索(Cross-mediaRetrieval)”：當用戶在電商搜索引擎中輸入一段描述性文字（如“夏季寬松波希米亞大擺沙灘裙”、“文藝小清新娃娃領飛飛袖碎花A字裙”等）, 通過文字-圖像聯(lián)合分析, 從商品圖像數(shù)據(jù)庫中找到最相關的商品圖像返回給用戶。

之前的不足：只能嵌入較短的語句簡單描述圖片

以往的視覺語義聯(lián)合嵌入方法往往只能對比較短的句子進行嵌入，進而只能對圖像做簡單而粗略的描述，然而在實際應用中，人們更希望得到對圖像（或圖像顯著區(qū)域）更為細致精確的描述。如圖1所示，我們不僅想知道誰在干什么，還想知道人物的外表，周圍的物體，背景，時間地點等。

圖1 現(xiàn)有方法的問題

現(xiàn)有方法：“A girl is playing a guitar.”
我們提出的方法：“a young girl sitting on a benchis playing a guitar with a black and white dog nearby.”

為了實現(xiàn)這個目標，我們提出一個框架：第一步從圖像中找出一些顯著性區(qū)域，并用具有描述性的短語描述每個區(qū)域；第二步將這些短語組合成一個非常長的具有描述性的句子，如圖2所示。

圖2 我們的提出的框架

為此，我們在訓練視覺語義聯(lián)合嵌入模型時不僅需要將整個句子嵌入空間，更應該將句子中的各種描述性短語也嵌入空間。然而，以往的視覺語義聯(lián)合嵌入方法通常采用循環(huán)神經(jīng)網(wǎng)絡模型（如LSTM(Long short-term memory)模型）來表示語句。標準的LSTM模型有一個鏈式結構（Chain structure）：每一個單元對應一個單詞，這些單詞按出現(xiàn)順序排成一列，信息從第一個單詞沿該鏈從前傳到最后，最后一個節(jié)點包含了所有的信息，往往用于表示整個句子。顯然，標準的LSTM模型只適合表示整個句子，無法表示一句話中包含的短語，如圖所示。

圖3 鏈式結構的問題

論文創(chuàng)新方法：提出層次化的LSTM模型

本文提出一種多模態(tài)、層次化的LSTM模型（Hierarchical Multimodal LSTM）。該方法可以將整個句子、句子中的短語、整幅圖像、及圖像中的顯著區(qū)域同時嵌入語義空間中，并且自動學習出“句子-圖像”及“短語-圖像區(qū)域”間的對應關系。這樣一來，我們生成了一個更為稠密的語義空間，該空間包含了大量的描述性的短語，進而可以對圖像或圖像區(qū)域進行更詳細和生動的描述，如圖所示。

圖4 本文提出的多模態(tài)層次結構

本文方法的創(chuàng)新性在于提出了一個層次化的LSTM模型，根節(jié)點對應整句話或整幅圖像，葉子節(jié)點對應單詞，中間節(jié)點對應短語或圖象中的區(qū)域。該模型可以對圖像、語句、圖像區(qū)域、短語進行聯(lián)合嵌入（Joint embedding），并且通過樹型結構可以充分挖掘和利用短語間的關系（父子短語關系）。其具體網(wǎng)絡結構如下圖所示

圖5 網(wǎng)絡結構

其中為每一個短語和對應的圖像區(qū)域都引入一個損失函數(shù)，用于最小化二者的距離，通過基于結構的反向傳播算法進行網(wǎng)絡參數(shù)學習。

在圖像-語句數(shù)據(jù)集上的比較

可見本文方法在幾個公開數(shù)據(jù)集上都獲得了很好的效果

在圖像區(qū)域-短語數(shù)據(jù)集上的對比

我們提供了一個帶有標注的圖像區(qū)域-短語數(shù)據(jù)集MS-COCO-region，其中人工標定了一些顯著性物體，并在這些物體和短語之間建立了聯(lián)系。

下圖是我們方法的可視化結果，可見我們的短語具有很強的描述性

此外，我們可以學習出圖像區(qū)域和短語的對應關系，如下

總結

以上是生活随笔為你收集整理的如何让电脑成为看图说话的高手？计算机视觉顶会ICCV论文解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。