Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation

Abstract

現狀

• 經過充分訓練數據的特征學習，用少量樣本去表示新類，少樣本的語義分割取得了令人鼓舞的進展

問題

• 特征共享機制，不可避免的在具有相似語義組成理論的新類之間造成語義混淆

創新

• 本文里，我們提出了將少樣本的分割問題視為語義重建問題，將基本類的特征轉化成一系列的基本向量，并張成類級別的語義空間，用于新類重建

方法

• 引入對比損失，最大化向量之間的正交性的同時最小化類間語義混疊
• 在重建表示空間內，我們通過查詢特征投影到支持向量進行精確的語義激活，來進一步抑制其他類的干擾

總結

• 我們的方法為少量樣本學習提供了系統、可解釋的方法。大量實驗，在PASCAL VOC、 MS COCO進行，與之前的工作相比取得了良好的結果

Intruduction

動機

• 打標簽很貴，并且在一些場景（計算機輔助診斷系統）也不可行。

意義

• 少樣本分割目的可以概括為：將在充足基類數據上預訓練的模型推廣到只有幾個例子的新類。是一種很有前景的技術

Fig1

• 我們的模型和傳統方法相比。傳統方法在基類指定特征空間內表示新類的時，沒有考慮語義混疊；我們方法通過構建類級語義空間來實現語義重構，其中基向量正交并減少語義干擾

貢獻

• 我們提出了一種系統的可解釋的抗混疊語義重建方法（ASR）用于少樣本語義分割，通過將類特征轉成基向量用于語義重建
• 我們提出語義跨度，減少基類和新類的語義混疊。基于語義跨度，進一步提出了語義濾波，消除查詢圖像的干擾語義
• 當應用于常用數據集時，ASR 以顯著的余量改進了先前的方法。 它在two-way少鏡頭分割設置下也取得了良好的性能。

Related work

Semantic Segmentation

• multi-scale feature aggregation：Pyramid scene parsing network.
• atrous spatial pyramid pooling(ASPP): Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs.
• 問題：這些方法需要大量像素級別的標注，阻礙了他們在真實場景里應用

Few-shot Learning

• meta learning：貢獻了優化方法和數據增強
• metric learning：使用原型模型代表了大部分少樣本學習方法，原型模型轉換空間語義信息成卷積通道。旨在相似的樣本對有高的相似分數。
• 問題：由特征共享機制造成的語義混疊被忽略

Few-shot Segmentation

• 早期的方法使用參數模型，通過support圖片學習特征來分割query圖片

  • Conditional networks for fewshot semantic segmentation: 將 support 特征和 query 圖片連接來激活特征對象區域的特征，從而進行分割
  • PGNet 和 DAN 使用圖解決語義分割問題，并使用圖推理將標簽信息傳播到查詢圖像

• 下列少樣本分類方法，將prototype向量用作跨通道的語義表示

  • Similarity guidance network for one-shot semantic segmentation: 使用掩碼平均池化將 support 圖像里前景信息壓縮到原型向量
  • CANet: 由兩個分支模型組成，該模型在 support 圖像和原型引導的 query 圖像之間執行特征比較
  • PANet: 為每個語義類提供了極具代表性的原型類型，并基于像素匹配對查詢圖像執行分割
  • CRNet: 提出了一種交叉引用機制，可以同時對支持圖像和查詢圖像進行預測，強制對象的共現，從而改善語義傳遞
  • PMMs 和 PPNet 建議將對象分解為多個部分，并用混合原型向量表示這些部分以對抗語義mixing。

• 盡管取得了上述進展，但現有方法仍然忽視了語義aliasing 問題，這會導致對象部分的錯誤（或丟失）分割

  • SST 和 SimProp 分別引入了自監督微調和相似性傳播，它們利用特定類別的語義約束來減少語義aliasing。 然而，沒考慮基類特征的正交性，它們仍然受到語義aliasing問題的挑戰。

總結

• 提出了anti-aliasing semantic reconstruction (ASR)
• 將基類特征轉成基向量，張成一個語義空間，即semantic span
• 在訓練期間，ASR利用語義空間，最大化基向量的正交性，最小化基類semantic aliasing ，幫助reconstruct新類
• 在推理期間，ASR利用semantic filtering 抑制語義干擾，精確激活目標物體區域

總結

以上是生活随笔為你收集整理的Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。