文章目錄

• 導讀
• 細粒度應用和分類
• 2 細粒度的問題和挑戰
• • 問題
  • 挑戰
• 3 數據集
• 4 細粒度圖像識別
• • 4.1 定位分類子網絡
  • 4.2 端到端特征編碼
  • 4.3 輔助信息
• 5 細粒度圖像檢索
• 6 細粒度圖像生成
• 7 細粒度圖像分析相關的特定領域應用
• 8 未來方向
• 參考

---

導讀

圖像分析是CV最重要的分支之一。在CV的各個研究領域中，細粒度圖像分析(FGIA)是一個長期存在的基礎性問題。曠視的研究人員魏秀參等人，將FGIA分為：細粒度圖像識別、細粒度圖像檢索、細粒度圖像生成，系統地闡述了細粒度圖像分析的前前后后，并探討了細粒度圖像分析的未來方向。

---

細粒度應用和分類

工業和科研領域的應用

• 工業領域：生物多樣性自動監測、氣候變化評估、智能零售、智能交通
• 科研領域：Kaggle比賽-自然保護協會漁業監測(魚類種類分類)、座頭鯨鑒定(鯨魚身份分類)等。

細粒度方法分類

作者給出了一個圖像分析的tutorial。

---

2 細粒度的問題和挑戰

問題

細粒度圖像分析的對象是某一個類別的子類，如狗、鳥、車等。粗粒度圖像分析的目標對象視覺差異大，細粒度目標圖像視覺差異小。所以，細粒度分析要捕獲更細微的差異（例如，耳朵，鼻子，尾巴等）。

挑戰

細粒度的挑戰是，類間差異小（這是細粒度本質），類內差異大（如姿態、尺度、旋轉，如圖3所示）。

---

3 數據集

數據集可視化示例

數據集信息統計
CUB200-2011和Birdsnap是有屬性標注的。植物和商品的數據集比較新。

標注信息舉例

4 細粒度圖像識別

分為三類：（1）定位分類子網絡（2）端到端特征編碼（3）輔助信息。其中（1）和（2）使用監督信息：標簽、邊界框、部位標注等。（3）使用了比較廉價的輔助信息：網絡數據、文本描述等。細粒度分類的評價標準是：平均分類精度。

4.1 定位分類子網絡

指導思想是：捕獲細粒度目標的判別性的語義部位。此類方法包含兩個部分：定位子網絡和分類子網絡。
定位子網絡的強監督信息有部位級別的邊界框、分割mask，弱監督信息就是標簽。弱監督定位子網絡的動機是：先找到對應的部位，然后比較他們的外觀。

4.2 端到端特征編碼

端到端的方法，直接學習更有判別力的特征表示。代表方式就是Bilinear CNNs，因其高模型容量，達到了顯著的細粒度識別性能。但是，bilinear的特征維度太高，不利于向大數據集擴展。

針對這個問題，學者們嘗試生成更低維的表示，并且保證相當的或者更高的性能。

4.3 輔助信息

網絡數據
這類方法主要集中在：（1）縮小網絡圖像和標注圖像的差異；（2）降低噪聲數據的負面影響。常用的方法是對抗學習和注意力機制。另一個方向是用遷移學習，包括零樣本學習和元學習。

那那那，細粒度零樣本問題

多模態數據
多模態：圖像、文本、知識庫。高級的知識圖。Learning deep representations of fine-grained visual despcriptions結合了文本和圖像來，解決零樣本細粒度問題。

人類參與
有人類參與的細粒度識別是一個包含機器和人類用戶的迭代系統。

5 細粒度圖像檢索

6 細粒度圖像生成

圖像生成是為了解決無監督問題。

細粒度圖像生成的第一個工作是2017年的CVAE-GAN，模型生成圖片的輸入是標簽和隱含屬性。最近的工作Fine-grained text to image generation with attentional generative adversarial networks，從文本描述生成圖像，通過對文本描述中的相關單詞的注意力引導生成高質量的細節區域。

針對商品的細粒度很有意義

7 細粒度圖像分析相關的特定領域應用

不同的問題都會面臨細粒度場景，比如推薦系統中的衣服/鞋子檢索、電子商務平臺中的時尚圖片識別、智能零售中的商品識別。

人臉識別可以看做身份粒度的識別問題，行人/車輛識別也是細粒度相關的任務，以及重識別問題。

在實際中，這些問題的解決方法包括：捕獲目標（人臉、行人、車輛）的判別性部位，由粗粒度-細粒度的結構信息、基于屬性的模型等等。

8 未來方向

自動細粒度模型
和AutoML自動機器學習或NAS模型搜索結合，替代人工設計的架構。
細粒度小樣本學習
和元學習結合，減少對監督信息的依賴。
細粒度哈希
結合哈希算法，針對大規模細粒度問題，需要更有效的檢索方法。
實際場景下的細粒度分析
結合域適應，遷移學習，長尾分布，特定設備等方法和場景的不同問題。

---

參考

2017 survey [知乎]
「見微知著」——細粒度圖像分析進展綜述

2018 tutorial
Fine-Grained Image Analysis Tutorial

2019 survey [公眾號]
曠視南京研究院魏秀參：細粒度圖像分析綜述

2019 survey [arXiv]
Deep Learning for Fine-Grained Image Analysis: A Survey

作者主頁

總結

以上是生活随笔為你收集整理的细粒度图像分析综述2019的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。